Как обеспечивается гарантия доставки сообщений в Kafka?

Question

Гарантия доставки достигается за счёт параметров acks у продюсера (0, 1 или all), записи в журнал (log) и репликации партиций. При acks=all продюсер ждёт подтверждения от всех ISR-реплик прежде чем считать сообщение доставленным.

YeaHub · Accepted Answer

Параметр acks:- acks=0 — без подтверждения (наименее надёжно).- acks=1 — подтверждение от лидера.- acks=all (или -1) — подтверждение от всех синхронных реплик (наиболее надёжно). Репликация партиций:- Каждая партиция имеет лидера и ISR (in-sync replicas).- При записи лидер дублирует данные на реплики. Политики поведения:- min.insync.replicas настраивает минимальное число реплик для acks=all.- Если реплик недостаточно, запрос отклоняется. Идемпотентный продюсер и транзакции:- Включает enable.idempotence=true для защиты от дублирующих записей.- Транзакции позволяют группировать отправку в атомарные блоки. Когда применять:- Для критичных данных — acks=all, min.insync.replicas>=2, идемпотентность.- Для менее критичных — можно снизить acks ради скорости.