Для чего нужна consumer group в Kafka?

Question

Consumer group позволяет:Распределять сообщения между несколькими consumer-ами (балансировка нагрузки).Масштабировать обработку (каждый consumer в группе читает часть партиций).Гарантировать, что сообщение обрабатывается только одним consumer-ом в группе.

YeaHub · Accepted Answer

Как работает consumer group?Каждая партиция топика назначается только одному consumer-у в группе.При добавлении/удалении consumer-ов происходит rebalance (перераспределение партиций).Пример:Топик с 3 партициями (p0, p1, p2).Группа из 2 consumer-ов:Consumer1 читает p0 и p1.Consumer2 читает p2.Вывод:Для параллельной обработки: Увеличивайте число consumer-ов в группе.Для уникальной обработки: Используйте разные группы.