Где хранятся offset’ы consumer-групп?

Question

Offset’ы consumer-групп хранятся в специальном внутреннем топике Kafka. Этот топик называется __consumer_offsets. Kafka сама управляет его репликацией и надёжностью. Consumer периодически коммитит offset’ы в этот топик. Благодаря этому прогресс чтения сохраняется даже при сбоях.

YeaHub · Accepted Answer

Offset — это ключевая часть модели потребления Kafka.ОпределениеOffset — это позиция consumer’а в partition, указывающая, какое сообщение будет прочитано следующим.Где именно хранятся offset’ыВ современных версиях Kafka:Offset’ы хранятся в топике __consumer_offsetsЭто обычный Kafka-топикОн:реплицируетсяпартиционируетсяуправляется брокеромКак происходит коммит offset’овConsumer может коммитить offset’ы:Автоматическиenable.auto.commit=trueпериодический коммитВручнуюcommitSynccommitAsyncКоммит означает:запись offset’а в __consumer_offsetsдля конкретной consumer-группы и partitionПочему не хранятся локальноConsumer может упастьConsumer может переехать на другой инстансГруппа должна восстановиться автоматическиВыводOffset’ы — это часть состояния consumer-группы и хранятся внутри Kafka. Это делает систему отказоустойчивой и масштабируемой.