Как реализовать идемпотентность при работе с Kafka?

Задача: если Kafka отправила одно и то же сообщение несколько раз (например, при failover), обработка должна выполняться только один раз.

Методы:

1. Ключ события (message key):

   Kafka гарантирует порядок внутри одного partition по ключу.

2. Хранение ID обработанных сообщений:

   • в Redis (ключ — ID, TTL для очистки);

   • в Postgres (таблица processed_messages).

3. Upsert: вставка с ON CONFLICT DO NOTHING.

Вывод: идемпотентность — обязательна для корректной работы систем с брокерами.