Что такое offset и как он используется консьюмерами?

Question

Offset — это порядковый номер сообщения внутри партиции. Консьюмеры используют offset, чтобы понимать, какие сообщения уже обработаны. Kafka не хранит «состояние очереди», а полагается на offsets. Каждый consumer group хранит offsets независимо. Благодаря этому сообщения можно перечитывать и обрабатывать повторно.

YeaHub · Accepted Answer

Offset — это ключевой механизм, который отличает Kafka от классических очередей сообщений. Он позволяет Kafka быть не просто транспортом, а долговременным журналом событий.ОпределениеOffset — это монотонно возрастающий номер сообщения внутри конкретной партиции, который определяет позицию чтения.1. Как появляется offsetКогда продюсер отправляет сообщение:оно записывается в конец партиции;Kafka присваивает ему следующий offset: 0, 1, 2, ....Важно:offset уникален только внутри партиции;одинаковые offset в разных партициях — это нормально.2. Как консьюмер использует offsetКонсьюмер работает по принципу:прочитал сообщение с offset N;обработал его;зафиксировал, что следующий offset для чтения — N+1.Kafka не знает, «обработано» ли сообщение по бизнес-смыслу — она знает только, какой offset сохранён.2.1. Коммит offsetКоммит — это запись текущей позиции чтения.Основные варианты:автоматический коммит — Kafka сама периодически сохраняет offset;ручной коммит — приложение решает, когда сохранить offset.Пример ручного подхода:msg = poll()
process(msg)
commit_offset(msg.offset + 1)
2.2. Где хранятся offsetsСовременная Kafka хранит offsets:в специальном системном топике __consumer_offsets;отдельно для каждой consumer group.Это значит:разные группы читают один и тот же топик независимо;прогресс одной группы не влияет на другую.3. Offset и сбоиOffset напрямую связан с гарантиями доставки.3.1. Консьюмер упал до коммитасообщение обработано;offset не сохранён;после рестарта сообщение будет обработано повторно.Результат: дубликат (at least once).3.2. Консьюмер упал после коммитаoffset сохранён;сообщение считается «прочитанным»;повторной обработки не будет.Если бизнес-логика не выполнилась — сообщение фактически потеряно для группы.4. Управление позицией чтенияKafka позволяет управлять offset вручную:начинать чтение с начала (earliest);читать только новые сообщения (latest);перематывать назад для переобработки.Это удобно для:отладки;повторного расчёта данных;восстановления состояния.5. Типичные ошибкиПеред завершением важно отметить частые проблемы:коммит offset до обработки;слепое использование автокоммита;отсутствие идемпотентности при at least once.6. Краткий выводOffset — это механизм контроля прогресса чтения в Kafka. Консьюмеры сами отвечают за то, когда сообщение считается обработанным, а правильное управление offset — ключ к надёжной и предсказуемой обработке данных.