Как работает batching в Kafka producer и зачем он нужен?

Kafka producer не отправляет каждое сообщение отдельно. Он группирует сообщения в батчи по partition.

Как это работает:

• сообщения складываются в буфер

• когда буфер достигает размера batch.size или проходит linger.ms

• батч отправляется в Kafka

Ключевые параметры:

• batch.size - максимальный размер батча

• linger.ms - сколько ждать перед отправкой

• compression.type - сжатие батчей

Почему batching важен:

• уменьшает количество сетевых round-trip

• снижает нагрузку на broker

• увеличивает throughput

Минусы:

• увеличивает latency

• возможна потеря нескольких сообщений при сбое

Пример trade-off:

• маленький batch - низкая задержка

• большой batch - высокая производительность

Вывод:
Batching - один из ключевых механизмов оптимизации Kafka producer.