Как управлять размером batch при чтении сообщений?

Question

Размер batch при чтении сообщений в Kafka настраивается через параметры consumer’а.
Kafka не читает строго фиксированный batch, а ограничивается условиями.
Основные параметры управляют количеством байт и временем ожидания.
Баланс настраивается между throughput и latency.
Неправильные значения могут привести к задержкам или перегрузке памяти.

YeaHub · Accepted Answer

Batch-чтение в Kafka гибкое и управляется конфигурацией.Основные параметры consumer’аКлючевые настройки:max.poll.records — максимальное количество сообщений за один poll()fetch.min.bytes — минимальный объём данных для ответаfetch.max.bytes — максимальный размер данных от брокераfetch.max.wait.ms — максимальное время ожидания набора batchКак это работает вместеKafka:ждёт, пока наберётся минимум данныхлибо пока не истечёт тайм-аутзатем возвращает batch сообщенийПример конфигурацииmax.poll.records=500
fetch.min.bytes=1048576
fetch.max.wait.ms=100
Компромиссыбольшой batch → высокий throughput, больше latencyмаленький batch → низкая latency, больше сетевых вызововВыводРазмер batch в Kafka — это компромисс между скоростью обработки и задержкой, который настраивается под конкретную нагрузку.