Как реализовать дедупликацию событий в Kafka при Exactly-Once потоке без использования транзакций Kafka?

Question

Используют внешний idempotency key + хранение последних offsets/IDs в Redis/Postgres.

Каждое событие имеет уникальный ID, и консьюмер проверяет, было ли оно обработано.

YeaHub · Accepted Answer

Существует несколько стратегий:1. Idempotency Key + Redis SETКаждое сообщение имеет уникальный ID.Потребитель делает:SETNX event_id 1   → если OK → обрабатываем  
если EXISTS → пропускаем  2. Postgres UPSERTINSERT ... ON CONFLICT DO NOTHING3. Deduplication windowID хранятся N часов, иначе память взорвётся.4. Deterministic projectionФинальный результат = функция от входных данных.Например:выставление статуса → идемпотентная операциязапись агрегата с версией5. Consumer-side cachingLocal LRU cache + persistent store.Почему не нужны транзакции Kafka?Потому что мы обеспечиваем exactly-once на уровне side-effects, а не Kafka commit.