Что произойдёт, если консьюмер упадёт во время обработки сообщений?

Question

Если консьюмер падает, Kafka считает его недоступным и запускает ребалансировку. Партиции, которые он читал, будут переданы другим консьюмерам в группе. Если offset не был закоммичен, сообщения будут прочитаны повторно. Это приводит к дубликатам, но не к потере данных. Итог зависит от того, когда именно был закоммичен offset.

YeaHub · Accepted Answer

Падение консьюмера — это нормальная ситуация для Kafka, и система изначально спроектирована так, чтобы корректно её обрабатывать.ОпределениеConsumer failure handling — это механизм перераспределения партиций и продолжения обработки данных при падении консьюмеров.1. Как Kafka понимает, что консьюмер упалKafka использует:heartbeat-запросы;таймауты (session.timeout.ms).Если брокер не получает heartbeat:консьюмер считается «мертвым»;начинается ребалансировка.2. Что происходит с партициямиВо время ребаланса:партиции упавшего консьюмера освобождаются;назначаются другим участникам группы.После этого:обработка продолжается с сохранённого offset.3. Роль offset в этом сценарии3.1. Offset не закоммиченСценарий:сообщение обработано;консьюмер упал до коммита.Результат:сообщение будет прочитано повторно;возникает дубликат (at least once).3.2. Offset закоммиченСценарий:offset сохранён;консьюмер упал после коммита.Результат:повторной обработки не будет;если бизнес-логика не успела выполниться — данные потеряны для группы.4. Почему Kafka выбирает такой подходKafka не знает:выполнилась ли бизнес-логика;были ли побочные эффекты (запись в БД, вызов API).Поэтому ответственность за корректность:лежит на приложении;реализуется через порядок коммита и идемпотентность.5. Практические рекомендацииЧтобы сбои были безопасными:коммитьте offset после успешной обработки;делайте обработку идемпотентной;корректно настраивайте таймауты heartbeat.6. Краткий выводПадение консьюмера приводит к ребалансировке и повторной обработке сообщений, если offset не был закоммичен. Это нормальный и ожидаемый сценарий, к которому нужно быть готовым на уровне бизнес-логики.