Что такое идемпотентный продюсер в Kafka и какую проблему он решает?

В распределённых системах повторная отправка сообщений — обычная ситуация.

Определение

Идемпотентный продюсер Kafka — это продюсер, гарантирующий, что каждое сообщение будет записано в партицию не более одного раза.

Какая проблема решается

Без идемпотентности:

• при сетевых сбоях продюсер делает retry

• брокер может принять одно и то же сообщение несколько раз

Результат:

• дубликаты

• нарушение бизнес-логики

Как Kafka это решает

Kafka использует:

• producerId

• sequence number для каждой партиции

Брокер:

• отслеживает порядок сообщений

• отбрасывает дубликаты

Как включить

enable.idempotence=true

Дополнительно:

• acks=all

• ограничение на количество in-flight запросов

Ограничения

• работает только в пределах одной партиции

• не заменяет exactly-once semantics целиком

Вывод

Идемпотентный продюсер — базовый механизм защиты от дубликатов сообщений в Kafka.