Как работает распределение сообщений в Kafka?

Apache Kafka организует данные в топики (topics), которые, в свою очередь, делятся на партиции (partitions). Партиции — это упорядоченные, неизменяемые последовательности записей. Распределение сообщений по этим партициям — ключевой механизм, влияющий на параллелизм обработки, порядок сообщений и балансировку нагрузки.

Роль ключа сообщения (Message Key)

Производитель (producer) при отправке сообщения может указать для него ключ (key). Основное правило: все сообщения с одинаковым ключом хэшируются и направляются в одну и ту же партицию в рамках топика. Это гарантирует, что связанные сообщения (например, все события от одного пользователя) будут обрабатываться в том порядке, в котором они были отправлены, одним потребителем (consumer) в группе.

Стратегии распределения

• С ключом (Keyed): Используется хэш-функция (по умолчанию murmur2) от ключа. Результат хэша по модулю количества партиций определяет целевую партицию.
• Без ключа (Null Key): Если ключ равен null, применяется стратегия по умолчанию. В современных версиях Kafka (с 2.4+) используется "sticky partitioning" — сообщения накапливаются в батч для одной случайно выбранной партиции, чтобы улучшить производительность, а не строгий round-robin для каждого сообщения.

Пример кода на Java

import org.apache.kafka.clients.producer.*;
import java.util.Properties;

public class KafkaProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer producer = new KafkaProducer<>(props);

        // Сообщение с ключом — гарантированно попадет в одну партицию для "user123"
        ProducerRecord record1 = new ProducerRecord<>("my-topic", "user123", "Login event");
        producer.send(record1);

        // Сообщение без ключа — распределится согласно стратегии производителя
        ProducerRecord record2 = new ProducerRecord<>("my-topic", "Purchase event");
        producer.send(record2);

        producer.close();
    }
}

Распределение сообщений напрямую влияет на потребителей. Каждая партиция топика потребляется только одним потребителем из группы (consumer group), что позволяет масштабировать обработку: чем больше партиций, тем больше потребителей можно запустить параллельно.

Вывод: Понимание распределения сообщений необходимо для проектирования эффективных потоков данных в Kafka. Используйте ключи сообщений, когда требуется гарантированный порядок обработки для связанных событий (например, по ID сущности). Распределение без ключа подходит для несвязанных событий, где важнее равномерная загрузка всех партиций.