За счет каких механизмов Kafka может обеспечивать надёжность доставки сообщений?

Question

Kafka обеспечивает надежность за счет репликации, подтверждений записи и управления offset’ами. Сообщения записываются на диск и дублируются между брокерами. Producer может ждать подтверждения от нескольких реплик. Consumer сам управляет моментом подтверждения обработки. В совокупности это позволяет избежать потерь данных.

YeaHub · Accepted Answer

Надежность Kafka строится не на одном механизме, а на их комбинации.Репликация партицийКаждая партиция может иметь несколько реплик:одна leaderнесколько followerСообщение считается надежно записанным, когда оно:сохранено на leaderподтверждено follower’ами (в зависимости от настроек)Подтверждения producer’аProducer может управлять уровнем надежности через параметр acks:acks=0 — без подтвержденийacks=1 — только leaderacks=all — leader + все in-sync репликиЧем выше acks, тем выше надежность и задержки.Хранение на дискеKafka:пишет данные последовательноиспользует файловую системуне хранит сообщения только в памятиЭто позволяет переживать перезапуски брокеров без потери данных.Управление offset’амиConsumer:сам решает, когда зафиксировать offsetможет коммитить offset после успешной обработкиПример:// обработка сообщения
process(record);
// фиксация offset после обработки
consumer.commitSync();
Это позволяет реализовать at least once доставку.Idempotent producer и транзакцииKafka поддерживает:idempotent producerтранзакционные записиЭто снижает вероятность дубликатов и позволяет приблизиться к exactly once семантике.Вывод: Kafka обеспечивает надежность за счет репликации, подтверждений, дискового хранения и контроля обработки на стороне consumer’а.