Что такое ZooKeeper в контексте Kafka?

Question

ZooKeeper в контексте Kafka — это отдельный координирующий сервис, который использовался для управления метаданными и состоянием кластера Kafka. Он отвечал за выбор лидера партиций, отслеживание живых брокеров и потребителей, а также хранение конфигураций. Начиная с версии Kafka 2.8.0 (и полностью в версии 3.x), Kafka постепенно уходит от зависимости от ZooKeeper, переходя на встроенный механизм самоуправления (Kafka Raft Metadata mode, или KRaft), что упрощает архитектуру и эксплуатацию.

YeaHub · Accepted Answer

Apache ZooKeeper — это высокопроизводительный сервис координации для распределенных систем. В классической архитектуре Kafka (до версии 2.8.0) он играл критически важную роль.Основные функции ZooKeeper в KafkaУправление контроллером (Controller Election):В кластере Kafka один из брокеров избирается как "контроллер". Этот контроллер отвечает за административные операции, такие как назначение лидеров для партиций. ZooKeeper гарантирует, что контроллер будет только один.Отслеживание членов кластера (Cluster Membership):ZooKeeper отслеживает, какие брокеры являются активными и частью кластера. При подключении или отключении брокера ZooKeeper уведомляет контроллер.Хранение метаданных топиков и партиций (Topic Configuration):В ZooKeeper хранится информация о том, какие топики существуют, сколько у них партиций, где расположены лидер-реплики и реплики-последователи (followers), а также их конфигурации.Управление кворумом (Quorum Management):Для обеспечения согласованности данных в распределенной системе используется кворум (большинство узлов). ZooKeeper сам по себе является распределенным кворумом, что позволяет Kafka надежно управлять состоянием.Переход на KRaft (Kafka без ZooKeeper)Зависимость от внешнего ZooKeeper добавляла сложность в развертывание, эксплуатацию и безопасность. Команда Kafka разработала альтернативу.KRaft (Kafka Raft Metadata mode):Это новый внутренний консенсус-протокол на основе алгоритма Raft, встроенный прямо в ядро Kafka.Группа брокеров Kafka образует кворум Raft и сама управляет своими метаданными, исключая необходимость в отдельном сервисе ZooKeeper.Преимущества: Упрощенная архитектура (один тип процессов), более быстрый отказоустойчивый переход (failover), улучшенная масштабируемость и более понятная безопасная настройка.Вывод: Исторически ZooKeeper был "мозгом" кластера Kafka, отвечающим за координацию. Современные версии Kafka (3.x+) активно переходят на встроенный режим KRaft, что является рекомендуемым путем для новых развертываний, так как устраняет внешнюю зависимость и упрощает систему в целом.