Как Kafka читает сообщения: по одному или батчами?

Kafka оптимизирована под потоковую обработку больших объёмов данных.

Основная идея

Kafka работает не с отдельными сообщениями, а с пачками данных.

Как это выглядит на практике

Consumer:

• делает запрос poll()

• получает набор сообщений из одной или нескольких партиций

• обрабатывает их последовательно

Пример:

ConsumerRecords<String, String> records = consumer.poll(timeout);
for (ConsumerRecord<String, String> record : records) {
    // обработка
}

Почему батчи эффективнее

• меньше сетевых вызовов

• меньше переключений контекста

• лучшая утилизация CPU

Что влияет на размер батча

• настройки consumer’а

• скорость обработки

• задержки (latency)

Вывод

Kafka читает сообщения батчами, и это ключевая причина её высокой производительности.