Что такое rebalance в Kafka?

Question

Rebalance — это процесс перераспределения partition’ов между consumer’ами в группе. Он происходит при изменении состава группы или конфигурации topic’ов. Во время rebalance consumer’ы временно перестают читать сообщения. После завершения rebalance каждый consumer получает новый набор partition’ов. Это встроенный механизм поддержания консистентности группы.

YeaHub · Accepted Answer

ОпределениеRebalance — это процесс, при котором Kafka пересчитывает и переназначает partition’ы consumer’ам внутри consumer group.Когда происходит rebalanceRebalance запускается в нескольких случаях:Consumer подключился к группеConsumer отключился или упалИзменилось количество partition’овИстек таймаут heartbeatЧто происходит во время rebalanceПроцесс включает несколько этапов:Все consumer’ы приостанавливают чтениеCoordinator собирает текущее состояние группыВычисляется новое распределение partition’овConsumer’ы получают новые назначенияВлияние на системуВо время rebalance:чтение сообщений временно останавливаетсявозможны небольшие задержки обработкипорядок сообщений внутри partition сохраняетсяКак уменьшить влияниеНа практике используют:sticky стратегию распределениянастройку таймаутов heartbeatстабильное количество consumer’овКраткий выводRebalance — необходимый механизм Kafka, обеспечивающий корректное распределение partition’ов при изменениях в consumer group, но он временно приостанавливает обработку сообщений.