Как распределяются партиции между консьюмерами в одной группе?

Механизм распределения партиций — это основа параллельной обработки данных в Kafka. Именно он определяет, кто и какие данные будет читать.

Определение

Consumer group — это набор консьюмеров, которые совместно читают топики, деля между собой партиции.

1. Базовое правило распределения

Kafka строго соблюдает правило:

• одна партиция → один консьюмер в группе.

Следствия:

• один консьюмер может читать несколько партиций;

• одна партиция никогда не читается двумя консьюмерами одной группы.

2. Когда происходит распределение

Распределение (rebalance) происходит, когда:

• консьюмер подключается к группе;

• консьюмер отключается или падает;

• меняется список топиков или партиций.

Во время ребаланса:

• обработка сообщений временно останавливается;

• партиции перераспределяются заново.

3. Стратегии распределения

Kafka использует assignor-алгоритмы.

3.1. Range assignor

• партиции распределяются «диапазонами»;

• простой, но может давать неравномерную нагрузку.

3.2. Round-robin assignor

• партиции равномерно распределяются по консьюмерам;

• часто даёт лучший баланс.

3.3. Sticky assignor

• старается сохранить текущее распределение;

• минимизирует количество перемещений партиций.

4. Ограничения масштабирования

Важно помнить:

• если 10 партиций и 20 консьюмеров → работают только 10;

• добавление консьюмеров сверх партиций не ускоряет обработку;

• частые ребалансы ухудшают стабильность.

5. Практические рекомендации

• заранее планировать число партиций;

• избегать частого рестарта консьюмеров;

• использовать sticky assignor в продакшене.

6. Краткий вывод

Распределение партиций в consumer group — это строгий и предсказуемый механизм: каждая партиция читается только одним консьюмером. Для эффективного масштабирования нужно правильно подбирать количество партиций и учитывать стоимость ребалансировок.