Для чего нужна consumer group в Kafka?
Какие ограничения существуют по масштабированию consumer group?
Специализация
Python Backend Developer
Java Backend Developer
Node.js Backend Developer
Golang Backend Developer
React Frontend Developer
Выберите навыки
React
JavaScript
Git
Redux
Webpack
Сложность
1-3
4-6
7-8
9-10
Рейтинг вопросов
1
2
3
4
5
Подпишись на React Developer в телеграм
Рейтинг:
1
Сложность:
5
Consumer group позволяет:
Распределять сообщения между несколькими consumer-ами (балансировка нагрузки).
Масштабировать обработку (каждый consumer в группе читает часть партиций).
Гарантировать, что сообщение обрабатывается только одним consumer-ом в группе.
Рейтинг:
5
Сложность:
7
Главное ограничение consumer group — количество партиций. Один консьюмер может читать несколько партиций, но одна партиция не может читаться несколькими консьюмерами в одной группе. Если консьюмеров больше, чем партиций, часть из них будет простаивать. Также масштабирование ограничено стоимостью ребалансировок. Частые изменения состава группы могут временно останавливать обработку.
