Где хранятся offset’ы consumer-групп?

Offset — это ключевая часть модели потребления Kafka.

Определение

Offset — это позиция consumer’а в partition, указывающая, какое сообщение будет прочитано следующим.

Где именно хранятся offset’ы

В современных версиях Kafka:

1. Offset’ы хранятся в топике __consumer_offsets

2. Это обычный Kafka-топик

3. Он:

   • реплицируется

   • партиционируется

   • управляется брокером

Как происходит коммит offset’ов

Consumer может коммитить offset’ы:

1. Автоматически

   • enable.auto.commit=true

   • периодический коммит

2. Вручную

   • commitSync

   • commitAsync

Коммит означает:

• запись offset’а в __consumer_offsets

• для конкретной consumer-группы и partition

Почему не хранятся локально

1. Consumer может упасть

2. Consumer может переехать на другой инстанс

3. Группа должна восстановиться автоматически

Вывод

Offset’ы — это часть состояния consumer-группы и хранятся внутри Kafka. Это делает систему отказоустойчивой и масштабируемой.