Приходилось ли писать консьюмера или продюсера для Kafka?

Что такое продюсер и консьюмер в Kafka?

Apache Kafka — это распределенная платформа для потоковой передачи событий. Продюсер (producer) — это компонент, который публикует сообщения в топики Kafka. Консьюмер (consumer) — подписывается на топики и обрабатывает сообщения. Это основа для построения надежных, масштабируемых систем обмена данными.

Пример кода продюсера на Python

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='localhost:9092')
producer.send('my-topic', b'Hello, Kafka!')
producer.flush()

Продюсер подключается к брокеру, отправляет сообщение в топик 'my-topic' и гарантирует доставку.

Пример кода консьюмера на Python

from kafka import KafkaConsumer
consumer = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')
for msg in consumer:
    print(msg.value.decode())

Консьюмер читает сообщения из топика и обрабатывает их в цикле.

Где применяется?

• Микросервисная архитектура для асинхронного обмена
• Сбор и обработка логов
• Потоковая аналитика (например, метрики в реальном времени)
• Системы событийного управления (event sourcing)

Вывод: Kafka продюсеры и консьюмеры — ключевые элементы для построения отказоустойчивых и масштабируемых систем. Их стоит применять, когда требуется надежная передача больших объемов данных между компонентами.