Какие основные сущности есть в Kafka?

Введение в архитектуру Kafka

Apache Kafka — это распределённая платформа для потоковой передачи событий. Чтобы эффективно работать с ней, важно понимать её базовые сущности, которые образуют каркас всей системы. Эти компоненты взаимодействуют друг с другом, обеспечивая надёжную доставку сообщений с высокой пропускной способностью.

Ключевые сущности

• Брокер (Broker) — сервер, который хранит данные и обслуживает запросы клиентов. Кластер Kafka состоит из одного или нескольких брокеров.
• Топик (Topic) — логическая категория, в которую записываются сообщения. Например, топик 'orders' для заказов.
• Партиция (Partition) — физическое разбиение топика на упорядоченные сегменты. Партиции позволяют распараллеливать чтение и запись.
• Продюсер (Producer) — клиент, который публикует сообщения в топик.
• Консьюмер (Consumer) — клиент, который читает сообщения из топика.
• Группа консьюмеров (Consumer Group) — набор консьюмеров, совместно читающих топик, где каждая партиция обрабатывается только одним консьюмером группы.
• Оффсет (Offset) — уникальный номер сообщения внутри партиции, указывающий позицию чтения.
• Реплика (Replica) — копия партиции на другом брокере для отказоустойчивости.

Пример взаимодействия

Представьте, что продюсер отправляет данные о действиях пользователя в топик 'user-actions'. Топик разбит на 3 партиции. Консьюмеры из одной группы читают эти партиции параллельно, каждый обрабатывает свою часть. Если один брокер выходит из строя, реплики на других брокерах продолжают обслуживать запросы.

// Пример создания топика через CLI
kafka-topics.sh --create --topic user-actions --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092

// Отправка сообщения продюсером (Java)
ProducerRecord<String, String> record = new ProducerRecord<>("user-actions", "user123", "click");
producer.send(record);

// Чтение консьюмером (Java)
ConsumerRecords<String, String> records = consumer.poll(1000);
for (ConsumerRecord<String, String> record : records) {
    System.out.println(record.value());
}

Вывод

Понимание этих сущностей необходимо для проектирования надёжных систем обмена данными. Kafka применяется в микросервисной архитектуре, обработке логов, аналитике в реальном времени и других сценариях, где важна масштабируемость и отказоустойчивость.