Является ли хранение сообщения в брокере гарантией доставки?

Хранение сообщения в брокере — это лишь часть цепочки доставки, а не абсолютная гарантия.

Что значит «гарантия доставки»

Под гарантией доставки обычно понимают, что сообщение:

• не потеряется

• будет доставлено consumer’у

• будет обработано корректно

Но брокер отвечает только за хранение и передачу, а не за бизнес-обработку.

Возможные модели доставки

В системах сообщений используются три основные модели:

• At most once
  Сообщение может быть потеряно, но не будет доставлено повторно.

• At least once
  Сообщение доставляется минимум один раз, возможны дубликаты.

• Exactly once
  Сообщение доставляется и обрабатывается ровно один раз.

Хранение сообщения обычно обеспечивает максимум at least once, но не автоматически.

Почему хранение — не гарантия

Даже если сообщение записано в брокер:

• consumer может упасть до коммита

• offset может быть зафиксирован раньше обработки

• producer может отправить сообщение повторно

• сеть может дать сбой

Без корректной логики consumer’а сообщение:

• потеряется

• обработается дважды

• останется необработанным

Что действительно влияет на надежность

• стратегия коммита offset’ов

• idempotent-обработка

• retry-механизмы

• настройки брокера

Вывод: хранение сообщения — необходимое, но недостаточное условие надежной доставки.