Как Kafka читает сообщения: по одному или батчами?

Question

Kafka читает сообщения батчами.Consumer получает набор сообщений за один poll.Это снижает накладные расходы на сеть и CPU.Размер батча можно настраивать.Такой подход обеспечивает высокую пропускную способность.

YeaHub · Accepted Answer

Kafka оптимизирована под потоковую обработку больших объёмов данных.Основная идеяKafka работает не с отдельными сообщениями, а с пачками данных.Как это выглядит на практикеConsumer:делает запрос poll()получает набор сообщений из одной или нескольких партицийобрабатывает их последовательноПример:ConsumerRecords records = consumer.poll(timeout); for (ConsumerRecord record : records) { // обработка } Почему батчи эффективнееменьше сетевых вызововменьше переключений контексталучшая утилизация CPUЧто влияет на размер батчанастройки consumer’аскорость обработкизадержки (latency)ВыводKafka читает сообщения батчами, и это ключевая причина её высокой производительности.