Что произойдет, если consumer’ов больше, чем partition’ов?

Question

Если consumer’ов больше, чем partition’ов, часть consumer’ов останется без работы. Kafka не может назначить один partition нескольким consumer’ам в одной группе. Такие consumer’ы будут находиться в состоянии ожидания. Они начнут получать данные только если появятся новые partition’ы или часть consumer’ов отключится. Это нормальное и ожидаемое поведение Kafka.

YeaHub · Accepted Answer

Базовое правило KafkaKafka придерживается строгого правила:один partition может быть назначен только одному consumer’у в группеСценарий с избытком consumer’овРассмотрим ситуацию:topic содержит 3 partition’аconsumer group содержит 5 consumer’овВ результате:3 consumer’а получат по одному partition’у2 consumer’а не получат ни одного partition’аСостояние «пустых» consumer’овConsumer без partition’ов:остается активным участником группыне читает сообщенияможет быть использован при rebalanceКогда такие consumer’ы становятся полезныИзбыточные consumer’ы начинают работать, если:увеличивается количество partition’оводин из активных consumer’ов отключаетсяпроисходит rebalance группыПрактический выводДобавление consumer’ов сверх количества partition’ов не увеличивает производительность и может привести к лишнему потреблению ресурсов.Краткий выводМаксимальный параллелизм consumer group ограничен количеством partition’ов, а лишние consumer’ы остаются без нагрузки.