Что происходит при добавлении нового consumer’а в группу?

Question

При добавлении нового consumer’а Kafka инициирует rebalance группы. Все partition’ы перераспределяются между consumer’ами. Новый consumer получает часть partition’ов. Старые consumer’ы могут потерять часть своих partition’ов. После завершения rebalance обработка сообщений продолжается.

YeaHub · Accepted Answer

Общий сценарийДобавление нового consumer’а считается изменением состава consumer group и всегда приводит к rebalance.Последовательность событийПроцесс выглядит следующим образом:Новый consumer подключается к группеCoordinator фиксирует изменение составаЗапускается rebalancePartition’ы перераспределяются между всеми consumer’амиConsumer’ы продолжают чтение с новых назначенийПерераспределение нагрузкиВ результате:нагрузка может распределиться более равномерноувеличивается параллелизм (если есть свободные partition’ы)часть partition’ов «переезжает» к новому consumer’уОграниченияДобавление consumer’а:не увеличит производительность, если partition’ов меньше или равновсегда вызывает кратковременную паузу обработкиКраткий выводДобавление нового consumer’а в группу приводит к rebalance, после которого partition’ы перераспределяются, а система продолжает работу с новым уровнем параллелизма.