Что такое offset?

Question

Offset — это порядковый номер сообщения внутри partition’а. Он однозначно идентифицирует позицию сообщения. Consumer использует offset, чтобы понимать, какие сообщения уже прочитаны. Offset увеличивается последовательно. Управление offset’ами позволяет возобновлять чтение после сбоев.

YeaHub · Accepted Answer

ОпределениеOffset — это уникальный порядковый номер сообщения внутри конкретного partition’а.Свойства offsetOffset имеет несколько важных характеристик:Уникален в рамках одного partition’аВозрастает последовательноНе гарантирует непрерывность (могут быть пропуски)Как offset используется consumer’омConsumer:читает сообщения, начиная с определенного offsetпосле обработки фиксирует offsetпри перезапуске продолжает чтение с сохраненного значенияХранение offset’овВ современных версиях Kafka offset’ы:хранятся в специальном internal topicпривязаны к consumer groupобновляются автоматически или вручнуюВлияние на надежностьПравильная работа с offset’ами позволяет:избегать потери сообщенийуправлять повторной обработкойвосстанавливаться после сбоевКраткий выводOffset — это основа механизма чтения Kafka, позволяющая consumer’ам точно контролировать позицию обработки сообщений.