Почему сообщения с одинаковым ключом попадают в одну партицию?

Как работает распределение сообщений по партициям в Kafka

Kafka использует партиции для масштабирования и параллельной обработки данных. Когда продюсер отправляет сообщение с ключом, он применяет хеш-функцию к этому ключу, а затем вычисляет остаток от деления на количество партиций в топике. Результат определяет номер партиции, в которую будет записано сообщение.

Пример кода на Java

// Продюсер Kafka с указанием ключа
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "user123", "message");
producer.send(record);
// Хеш от "user123" определяет партицию

Почему это важно

• Гарантия порядка: все сообщения с одинаковым ключом обрабатываются последовательно в одной партиции.
• Консьюмеры читают партиции независимо, что позволяет сохранить порядок для каждого ключа.
• Это критично для событий, связанных с одним объектом (например, действия пользователя).

Вывод

Механизм хеширования ключа в Kafka обеспечивает логическую группировку сообщений и гарантирует их упорядоченную обработку. Это полезно в системах, где важна последовательность событий для конкретного идентификатора, например, в логах пользовательских действий или финансовых транзакциях.