Как распределяются partition’ы между consumer’ами в группе?

Question

Partition’ы распределяются между consumer’ами внутри consumer group с помощью алгоритма назначения. За процесс отвечает group coordinator на стороне Kafka. Каждый partition назначается только одному consumer’у. Конкретный алгоритм распределения зависит от выбранной стратегии. Цель распределения — равномерно распределить нагрузку.

YeaHub · Accepted Answer

Общая идеяKafka распределяет partition’ы между consumer’ами автоматически, чтобы обеспечить параллельную обработку и соблюдение порядка сообщений.Роль group coordinatorGroup coordinator — это broker, который:отслеживает состав consumer group,запускает процесс распределения partition’ов,контролирует состояние группы.Стратегии распределенияKafka поддерживает несколько стратегий назначения partition’ов:Range — распределяет partition’ы по диапазонам (по порядку)RoundRobin — распределяет partition’ы по кругуSticky — старается минимизировать изменения при rebalanceСтратегия выбирается на стороне consumer’а.Пример распределенияЕсли:4 partition’а2 consumer’аТо возможный результат:Consumer A → Partition 0, 1Consumer B → Partition 2, 3Важные ограниченияПри распределении всегда соблюдаются правила:один partition → один consumerconsumer может читать несколько partition’овпорядок сообщений внутри partition сохраняетсяКраткий выводPartition’ы распределяются между consumer’ами автоматически через coordinator с использованием стратегий назначения, что позволяет Kafka балансировать нагрузку и сохранять порядок сообщений.