Какую роль выполняет ZooKeeper в Kafka?

Роль ZooKeeper в Kafka

ZooKeeper является центральным компонентом для управления кластером Apache Kafka. Он отвечает за хранение и синхронизацию метаданных, необходимых для работы брокеров, топиков и потребителей. Без ZooKeeper брокеры не могут обнаруживать друг друга, а контроллер не может быть выбран.

Основные функции ZooKeeper

• Управление метаданными: ZooKeeper хранит информацию о брокерах, топиках, разделах и их лидерах. При изменении конфигурации (например, добавление нового брокера) ZooKeeper обновляет данные и уведомляет всех участников.
• Выбор контроллера: Контроллер — это брокер, который отвечает за управление разделами и репликацией. ZooKeeper обеспечивает выбор контроллера с помощью механизма эфемерных узлов и последовательности.
• Отслеживание состояния: ZooKeeper отслеживает активность брокеров через эфемерные узлы. Если брокер выходит из строя, его узел удаляется, и ZooKeeper инициирует перебалансировку.
• Хранение офсетов (в старых версиях): До Kafka 0.9 офсеты потребителей хранились в ZooKeeper. В современных версиях они хранятся в специальном топике Kafka.

Пример взаимодействия

При запуске брокера он регистрируется в ZooKeeper, создавая эфемерный узел. Если брокер падает, узел удаляется, и ZooKeeper уведомляет контроллер, который инициирует выбор нового лидера для затронутых разделов.

// Пример команды для просмотра брокеров в ZooKeeper
zkCli.sh -server localhost:2181 ls /brokers/ids
// Вывод: [0, 1, 2] — список активных брокеров

Переход к KRaft

Начиная с Kafka 2.8, появился режим KRaft (Kafka Raft), который устраняет зависимость от ZooKeeper, используя собственный протокол консенсуса Raft. Это упрощает архитектуру и уменьшает задержки, но ZooKeeper остаётся стандартом для многих продакшн-систем.

Вывод: ZooKeeper критически важен для управления кластером Kafka, обеспечивая согласованность метаданных и отказоустойчивость. Однако с внедрением KRaft его роль постепенно уменьшается, и в будущем ZooKeeper может быть полностью заменён.