Что такое консьюмер в Kafka и как он работает с сообщениями?

Консьюмер отвечает за получение и обработку данных, которые уже сохранены в Kafka.

Определение

Consumer — это Kafka-клиент, который читает сообщения из топиков и обрабатывает их.

1. Чтение сообщений

Консьюмер:

• подписывается на один или несколько топиков;

• периодически опрашивает Kafka;

• получает новые сообщения.

Пример чтения:

for message in consumer:
    process(message.value)

2. Работа с offset

Каждое сообщение имеет offset — порядковый номер:

• консьюмер хранит последний обработанный offset;

• при перезапуске продолжает с нужного места.

3. Порядок обработки

Kafka гарантирует:

• порядок сообщений внутри одной партиции;

• отсутствие глобального порядка между партициями.

Это важно учитывать при проектировании логики.

4. Независимость консьюмеров

Сообщения:

• не удаляются после чтения;

• могут быть прочитаны повторно;

• доступны разным consumer group.

Краткий вывод

Консьюмеры позволяют гибко и независимо обрабатывать данные из Kafka, управляя порядком и прогрессом чтения через offset.