Какие поля есть у сообщения Kafka?

Сообщение в Apache Kafka, часто называемое записью (record), является основной единицей данных, передаваемой через систему. Понимание его полей критически важно для эффективного проектирования продюсеров и консьюмеров, так как эти поля определяют, как данные маршрутизируются, хранятся и интерпретируются.

Основные поля сообщения Kafka

• Key (Ключ): Опциональное поле типа byte[]. Ключ используется для определения партиции, в которую будет записано сообщение (если не указана явно). Все сообщения с одинаковым ключом гарантированно попадают в одну и ту же партицию, обеспечивая порядок обработки для связанных записей. Это полезно для событий, относящихся к одному объекту (например, обновления одного пользователя).
• Value (Значение): Основное содержимое сообщения, также массив байтов. Здесь хранятся полезные данные — например, JSON, Avro или Protobuf сериализованный объект. Это поле может быть null.
• Headers (Заголовки): Набор ключ-значение (строки и байты) для добавления метаданных, не относящихся к бизнес-логике. Например, идентификатор трассировки, версия схемы или информация о происхождении данных. Заголовки появились в Kafka 0.11.
• Timestamp (Временная метка): Время создания сообщения. Может быть установлено продюсером или брокером (в зависимости от конфигурации). Используется для обработки на основе времени, удержания данных и лог-компакции.
• Partition (Партиция): Хотя технически это не поле самого сообщения, а свойство его размещения, каждое сообщение записывается в конкретную партицию топика. Партиция определяет порядок и параллелизм.
• Offset (Смещение): Уникальный, монотонно возрастающий идентификатор сообщения внутри партиции. Смещение назначается брокером при записи. Консьюмеры отслеживают свою позицию (последнее прочитанное смещение) для продолжения обработки.

Пример кода создания сообщения

Вот как может выглядеть создание сообщения с использованием клиента Java:

import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.header.internals.RecordHeader;

// Создание сообщения с ключом, значением и заголовками
String topic = "user-events";
String key = "user123"; // Определит партицию
String value = "{\"action\": \"login\", \"time\": \"2023-10-01\"}";

ProducerRecord record = new ProducerRecord<>(topic, key, value);

// Добавление заголовка
record.headers().add(new RecordHeader("trace-id", "abc-123".getBytes()));
// Timestamp будет установлен автоматически, если не задан явно
// record = new ProducerRecord(topic, null, System.currentTimeMillis(), key, value);

Где и как применяются эти поля

Поля сообщения используются на всех этапах работы с Kafka. Ключ обеспечивает семантику упорядочивания и используется при агрегации в KStreams. Заголовки удобны для сквозной трассировки в микросервисной архитектуре. Смещение и временная метка — основа для управления потреблением (например, консьюмер может начать читать с определённого времени) и политик хранения данных.

Вывод: Понимание полей сообщения Kafka необходимо для построения корректных потоков данных, где важны порядок, маршрутизация и обогащение метаданными. Используйте ключ для обеспечения порядка событий по сущности, заголовки для служебной информации, а смещение и временную метку для управления состоянием консьюмера и хранением.