Что произойдет, если consumer’ов больше, чем partition’ов?

Базовое правило Kafka

Kafka придерживается строгого правила:

• один partition может быть назначен только одному consumer’у в группе

Сценарий с избытком consumer’ов

Рассмотрим ситуацию:

• topic содержит 3 partition’а

• consumer group содержит 5 consumer’ов

В результате:

1. 3 consumer’а получат по одному partition’у

2. 2 consumer’а не получат ни одного partition’а

Состояние «пустых» consumer’ов

Consumer без partition’ов:

• остается активным участником группы

• не читает сообщения

• может быть использован при rebalance

Когда такие consumer’ы становятся полезны

Избыточные consumer’ы начинают работать, если:

1. увеличивается количество partition’ов

2. один из активных consumer’ов отключается

3. происходит rebalance группы

Практический вывод

Добавление consumer’ов сверх количества partition’ов не увеличивает производительность и может привести к лишнему потреблению ресурсов.

Краткий вывод

Максимальный параллелизм consumer group ограничен количеством partition’ов, а лишние consumer’ы остаются без нагрузки.