Что такое Kafka и как в ней взаимодействуют producer и consumer?

Question

Kafka — это распределённая платформа для передачи и хранения сообщений. Producer отправляет сообщения в топики, а consumer читает их оттуда. Kafka хранит сообщения на диске и позволяет читать их независимо нескольким consumer’ам. Взаимодействие построено на pull-модели. Это делает систему масштабируемой и устойчивой.

YeaHub · Accepted Answer

ОпределениеApache Kafka — это распределённый брокер сообщений, предназначенный для:обработки потоков данныхасинхронного взаимодействия сервисоввысоконагруженных системKafka сочетает в себе:очередь сообщенийлог событийсистему стримингаОсновные сущности KafkaПеред разбором взаимодействия важно понимать ключевые компоненты.Topic — логическое хранилище сообщенийPartition — физическое разбиение топикаProducer — отправляет сообщенияConsumer — читает сообщенияConsumer Group — группа consumer’ов для масштабированияКак работает producerProducer:формирует сообщение (key + value)выбирает partition (по key или round-robin)отправляет сообщение в Kafkaproducer.send(new ProducerRecord<>("orders", key, value));
Особенности:producer не ждёт, пока consumer прочитает сообщениевозможны разные уровни надёжности доставкиКак работает consumerConsumer:подписывается на один или несколько топиковпериодически опрашивает Kafka (pull-модель)читает сообщения последовательноconsumer.subscribe(List.of("orders"));
consumer.poll(Duration.ofMillis(100));
Каждый consumer:хранит offsetсам управляет тем, какие сообщения уже обработаныВзаимодействие через consumer groupЕсли несколько consumer’ов находятся в одной группе:каждая partition читается только одним consumer’омнагрузка распределяется автоматическипорядок сообщений внутри partition сохраняетсяЕсли группы разные:каждую группу Kafka обслуживает независимосообщения читаются повторноКлючевые свойства Kafkaвысокая пропускная способностьгоризонтальное масштабированиехранение сообщений на дискеслабая связанность producer и consumerВыводKafka — это не просто очередь, а распределённый лог событий. Producer и consumer взаимодействуют через топики асинхронно, что делает систему устойчивой, масштабируемой и удобной для event-driven архитектур.