Как распределяются партиции между консьюмерами в одной группе?

Question

В одной consumer group каждая партиция может быть назначена только одному консьюмеру. Распределение происходит во время ребалансировки. Kafka использует специальные алгоритмы назначения партиций. Если консьюмеров больше, чем партиций, часть из них будет простаивать. Ребалансировка может временно приостановить обработку сообщений.

YeaHub · Accepted Answer

Механизм распределения партиций — это основа параллельной обработки данных в Kafka. Именно он определяет, кто и какие данные будет читать.ОпределениеConsumer group — это набор консьюмеров, которые совместно читают топики, деля между собой партиции.1. Базовое правило распределенияKafka строго соблюдает правило:одна партиция → один консьюмер в группе.Следствия:один консьюмер может читать несколько партиций;одна партиция никогда не читается двумя консьюмерами одной группы.2. Когда происходит распределениеРаспределение (rebalance) происходит, когда:консьюмер подключается к группе;консьюмер отключается или падает;меняется список топиков или партиций.Во время ребаланса:обработка сообщений временно останавливается;партиции перераспределяются заново.3. Стратегии распределенияKafka использует assignor-алгоритмы.3.1. Range assignorпартиции распределяются «диапазонами»;простой, но может давать неравномерную нагрузку.3.2. Round-robin assignorпартиции равномерно распределяются по консьюмерам;часто даёт лучший баланс.3.3. Sticky assignorстарается сохранить текущее распределение;минимизирует количество перемещений партиций.4. Ограничения масштабированияВажно помнить:если 10 партиций и 20 консьюмеров → работают только 10;добавление консьюмеров сверх партиций не ускоряет обработку;частые ребалансы ухудшают стабильность.5. Практические рекомендациизаранее планировать число партиций;избегать частого рестарта консьюмеров;использовать sticky assignor в продакшене.6. Краткий выводРаспределение партиций в consumer group — это строгий и предсказуемый механизм: каждая партиция читается только одним консьюмером. Для эффективного масштабирования нужно правильно подбирать количество партиций и учитывать стоимость ребалансировок.