Что произойдёт при сбое consumer’а в Kafka?

Question

При сбое consumer’а Kafka инициирует ребаланс consumer-группы. Partition’ы, которые были закреплены за упавшим consumer’ом, перераспределяются между оставшимися. Новый consumer продолжит чтение с последнего закоммиченного offset’а. Неподтверждённые сообщения могут быть прочитаны повторно. Это нормальное и ожидаемое поведение.

YeaHub · Accepted Answer

Kafka проектировалась с учётом неизбежных сбоев.ОпределениеRebalance — процесс перераспределения partition’ов между consumer’ами внутри одной группы.Пошаговое поведение при сбоеКогда consumer перестаёт отвечать:Он не отправляет heartbeatGroup coordinator считает его мёртвымЗапускается rebalancePartition’ы перераспределяютсяДругие consumer’ы продолжают работуЧто будет с сообщениямиЗависит от коммита offset’ов.Offset закоммиченсообщения считаются обработаннымиповторного чтения нетOffset не закоммиченсообщения будут прочитаны повторновозможны дубликатыПочему это нормальноKafka следует модели:at-least-once по умолчаниюПоэтому:Повторная обработка допустимаЛогика должна быть идемпотентнойКак уменьшить побочные эффектыКоммитить offset после обработкиДелать обработку идемпотентнойИспользовать exactly-once при необходимостиВыводСбой consumer’а не приводит к потере данных. Kafka перераспределяет нагрузку и продолжает работу, допуская повторную обработку сообщений.