За счет каких механизмов Kafka может обеспечивать надёжность доставки сообщений?

Надежность Kafka строится не на одном механизме, а на их комбинации.

Репликация партиций

Каждая партиция может иметь несколько реплик:

• одна leader

• несколько follower

Сообщение считается надежно записанным, когда оно:

• сохранено на leader

• подтверждено follower’ами (в зависимости от настроек)

Подтверждения producer’а

Producer может управлять уровнем надежности через параметр acks:

• acks=0 — без подтверждений

• acks=1 — только leader

• acks=all — leader + все in-sync реплики

Чем выше acks, тем выше надежность и задержки.

Хранение на диске

Kafka:

• пишет данные последовательно

• использует файловую систему

• не хранит сообщения только в памяти

Это позволяет переживать перезапуски брокеров без потери данных.

Управление offset’ами

Consumer:

• сам решает, когда зафиксировать offset

• может коммитить offset после успешной обработки

Пример:

// обработка сообщения
process(record);
// фиксация offset после обработки
consumer.commitSync();

Это позволяет реализовать at least once доставку.

Idempotent producer и транзакции

Kafka поддерживает:

• idempotent producer

• транзакционные записи

Это снижает вероятность дубликатов и позволяет приблизиться к exactly once семантике.

Вывод: Kafka обеспечивает надежность за счет репликации, подтверждений, дискового хранения и контроля обработки на стороне consumer’а.