Что произойдёт, если консьюмер упадёт во время обработки сообщений?

Падение консьюмера — это нормальная ситуация для Kafka, и система изначально спроектирована так, чтобы корректно её обрабатывать.

Определение

Consumer failure handling — это механизм перераспределения партиций и продолжения обработки данных при падении консьюмеров.

1. Как Kafka понимает, что консьюмер упал

Kafka использует:

• heartbeat-запросы;

• таймауты (session.timeout.ms).

Если брокер не получает heartbeat:

• консьюмер считается «мертвым»;

• начинается ребалансировка.

2. Что происходит с партициями

Во время ребаланса:

• партиции упавшего консьюмера освобождаются;

• назначаются другим участникам группы.

После этого:

• обработка продолжается с сохранённого offset.

3. Роль offset в этом сценарии

3.1. Offset не закоммичен

Сценарий:

• сообщение обработано;

• консьюмер упал до коммита.

Результат:

• сообщение будет прочитано повторно;

• возникает дубликат (at least once).

3.2. Offset закоммичен

Сценарий:

• offset сохранён;

• консьюмер упал после коммита.

Результат:

• повторной обработки не будет;

• если бизнес-логика не успела выполниться — данные потеряны для группы.

4. Почему Kafka выбирает такой подход

Kafka не знает:

• выполнилась ли бизнес-логика;

• были ли побочные эффекты (запись в БД, вызов API).

Поэтому ответственность за корректность:

• лежит на приложении;

• реализуется через порядок коммита и идемпотентность.

5. Практические рекомендации

Чтобы сбои были безопасными:

• коммитьте offset после успешной обработки;

• делайте обработку идемпотентной;

• корректно настраивайте таймауты heartbeat.

6. Краткий вывод

Падение консьюмера приводит к ребалансировке и повторной обработке сообщений, если offset не был закоммичен. Это нормальный и ожидаемый сценарий, к которому нужно быть готовым на уровне бизнес-логики.