Как реализовать дедупликацию событий в Kafka при Exactly-Once потоке без использования транзакций Kafka?

Существует несколько стратегий:

1. Idempotency Key + Redis SET

Каждое сообщение имеет уникальный ID.

Потребитель делает:

SETNX event_id 1   → если OK → обрабатываем  
если EXISTS → пропускаем  

2. Postgres UPSERT

INSERT ... ON CONFLICT DO NOTHING

3. Deduplication window

ID хранятся N часов, иначе память взорвётся.

4. Deterministic projection

Финальный результат = функция от входных данных.

Например:

• выставление статуса → идемпотентная операция

• запись агрегата с версией

5. Consumer-side caching

Local LRU cache + persistent store.

Почему не нужны транзакции Kafka?

Потому что мы обеспечиваем exactly-once на уровне side-effects, а не Kafka commit.