Что происходит, если ключ сообщения не задан?

В Apache Kafka каждое сообщение может иметь опциональный ключ (key). Ключ используется для определения партиции, в которую будет записано сообщение, что является фундаментальным для обеспечения порядка и семантической группировки данных.

Поведение при отсутствии ключа

Если продюсер отправляет сообщение с ключом, равным null (что является поведением по умолчанию, когда ключ не задан), то для определения целевой партиции используется так называемый "партиционер по умолчанию". Стандартная реализация (например, в клиенте Java) применяет алгоритм round-robin. Это означает, что сообщения без ключа распределяются по всем партициям топика последовательно и циклически.

Практический пример

Рассмотрим простой пример на Java с использованием клиента Kafka:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer producer = new KafkaProducer<>(props);

// Сообщение БЕЗ ключа (key = null)
ProducerRecord record1 = new ProducerRecord<>("my-topic", "value1");
producer.send(record1);

// Сообщение С ключом
ProducerRecord record2 = new ProducerRecord<>("my-topic", "user123", "value2");
producer.send(record2);

producer.close();

В этом коде record1 будет отправлен без ключа. Партиционер выберет одну из партиций топика "my-topic" по round-robin. record2 с ключом "user123" всегда попадёт в одну и ту же партицию (при условии, что количество партиций не меняется), гарантируя, что все сообщения для этого пользователя будут обрабатываться в порядке отправки.

Последствия и применение

• Равномерное распределение: Round-robin распределение без ключей помогает избежать "перекоса" (skew) данных, когда одна партиция загружена сильнее других.
• Потеря гарантии порядка: Сообщения без ключа, относящиеся к одной логической сущности (например, события от одного пользователя), могут попасть в разные партиции и быть обработаны потребителями в произвольном порядке.
• Использование: Отправка без ключа подходит для метрик, логов или событий, где порядок внутри потока не критичен, а важна общая пропускная способность.

Вывод: Отправка сообщений без ключа полезна, когда требуется максимальная пропускная способность и равномерная нагрузка на партиции, а гарантия строгого порядка обработки для связанных сообщений не является обязательной.