Какие основные сущности есть в Kafka (topics, partitions, brokers)?

Apache Kafka — это распределённая система обмена сообщениями, построенная по принципу журнала событий (log). Её архитектура основана на нескольких ключевых абстракциях, которые обеспечивают масштабируемость, отказоустойчивость и высокую пропускную способность.

Основные сущности Kafka

• Темы (Topics): Это категории или имена потоков, в которые публикуются сообщения. Каждое сообщение в Kafka имеет ключ и значение. Темы логически группируют сообщения одного типа, например, orders, logs, payments.
• Разделы (Partitions): Каждая тема делится на один или более разделов. Раздел — это упорядоченная, неизменяемая последовательность сообщений. Разделы позволяют распределять данные по нескольким серверам (брокерам) для горизонтального масштабирования и параллельной обработки. Сообщения внутри раздела упорядочены по времени добавления и имеют смещение (offset).
• Брокеры (Brokers): Это серверы Kafka, которые образуют кластер. Каждый брокер хранит некоторые разделы тем и обрабатывает запросы на чтение и запись. Кластер Kafka может состоять из одного или сотен брокеров для обеспечения отказоустойчивости (репликации данных).

Как это работает вместе

Производитель (producer) отправляет сообщение с указанием темы и, опционально, ключа. Kafka использует ключ (или его отсутствие) для определения, в какой раздел темы записать сообщение, гарантируя, что сообщения с одинаковым ключом попадают в один раздел для сохранения порядка. Потребители (consumers) организуются в группы (consumer groups). Каждый потребитель в группе читает данные из уникального набора разделов, что позволяет распределить нагрузку по обработке.

Пример кода: создание темы и отправка сообщения

// Использование утилиты командной строки Kafka для создания темы
// Создаём тему 'test-topic' с 3 разделами и фактором репликации 1
bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092

// Простой производитель на Python (используя библиотеку kafka-python)
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='localhost:9092')
# Отправляем сообщение с ключом (bytes) и значением (bytes)
future = producer.send('test-topic', key=b'user123', value=b'Order placed')
# Ожидаем подтверждения
record_metadata = future.get(timeout=10)
print(f'Сообщение отправлено в раздел {record_metadata.partition} с offset {record_metadata.offset}')
producer.close()

В этом примере создаётся тема с тремя разделами. При отправке сообщения с ключом user123 Kafka хэширует ключ, чтобы определить целевой раздел (например, раздел 1). Все сообщения для user123 будут поступать в один и тот же раздел, сохраняя порядок событий для этого пользователя.

Вывод: Понимание сущностей тем, разделов и брокеров критически важно для проектирования эффективных потоковых приложений на Kafka. Темы организуют данные, разделы обеспечивают параллелизм и масштабируемость, а брокеры образуют отказоустойчивый кластер для хранения и обслуживания данных. Этот подход стоит применять при построении систем реального времени, обработки событий или конвейеров данных, где важны высокая пропускная способность и надёжная доставка сообщений.