Как в Kafka реализовать exactly-once обработку? Какие подводные камни?

Kafka по умолчанию гарантирует at-least-once. Для exactly-once нужен особый подход:

1. Idempotent producer (enable.idempotence=true) — исключает дубли при ретраях.

2. Transactional producer — группирует сообщения и commit offset вместе:

   • Сообщения публикуются в топик.

   • Offset consumer коммитится в той же транзакции.

   • Если сбой → ни сообщения, ни offset не зафиксированы.

3. Consumer читает только committed данные.

Подводные камни:

• Повышенная задержка из-за транзакций.

• Необходимость глобальной идемпотентности в downstream системах (например, при записи в Postgres).

• Возможны проблемы при failover брокеров.

Вывод: Exactly-once в Kafka реально, но дорого. В реальных системах часто достаточно at-least-once + идемпотентная обработка.