Что происходит с сообщениями при временной недоступности consumer’а?

Question

При временной недоступности consumer’а сообщения не пропадают и остаются в брокере. Они хранятся до тех пор, пока consumer не вернется и не продолжит чтение с последнего зафиксированного offset’а. Если используется группа consumer’ов, партиции могут быть перераспределены. Поведение зависит от настроек ретенции и commit-стратегии. В результате система остается работоспособной.

YeaHub · Accepted Answer

В брокерах сообщений, таких как Kafka, consumer считается временно отключившимся, если он перестает отправлять heartbeat’ы.Хранение сообщений в брокереСообщения:записываются в партициихранятся независимо от состояния consumer’овудаляются только по правилам ретенцииДаже если consumer недоступен, брокер продолжает принимать новые сообщения.Роль offset’овConsumer читает сообщения, опираясь на offset:последний зафиксированный offset — точка восстановлениянезакоммиченные сообщения считаются необработаннымиПосле восстановления consumer:продолжает чтение с последнего commit’аможет повторно обработать часть сообщенийConsumer group и ребалансировкаЕсли consumer входит в группу:при его падении происходит rebalanceпартиции перераспределяются между оставшимися consumer’амиКогда consumer возвращается:он может получить другие партициичтение начнется с актуальных offset’ов группыОграниченияСообщения могут быть потеряны, если:истек срок ретенцииconsumer был недоступен слишком долгоВывод: временная недоступность consumer’а не приводит к потере сообщений, если ретенция и commit-стратегия настроены корректно.