Что такое идемпотентный продюсер в Kafka и какую проблему он решает?

Question

Идемпотентный продюсер гарантирует отсутствие дубликатов сообщений.
Даже при ретраях сообщение будет записано только один раз.
Это достигается за счёт специальных идентификаторов.
Функциональность встроена в Kafka.
Она повышает надёжность доставки.

YeaHub · Accepted Answer

В распределённых системах повторная отправка сообщений — обычная ситуация.ОпределениеИдемпотентный продюсер Kafka — это продюсер, гарантирующий, что каждое сообщение будет записано в партицию не более одного раза.Какая проблема решаетсяБез идемпотентности:при сетевых сбоях продюсер делает retryброкер может принять одно и то же сообщение несколько разРезультат:дубликатынарушение бизнес-логикиКак Kafka это решаетKafka использует:producerIdsequence number для каждой партицииБрокер:отслеживает порядок сообщенийотбрасывает дубликатыКак включитьenable.idempotence=true
Дополнительно:acks=allограничение на количество in-flight запросовОграниченияработает только в пределах одной партициине заменяет exactly-once semantics целикомВыводИдемпотентный продюсер — базовый механизм защиты от дубликатов сообщений в Kafka.