Что такое Kafka и для чего используются брокеры сообщений?

Apache Kafka — это распределённая платформа для потоковой передачи событий, которую часто используют как брокер сообщений. В отличие от классических очередей, Kafka хранит сообщения в виде упорядоченного лога и позволяет нескольким потребителям читать одни и те же данные независимо друг от друга. Это делает её удобной для построения событийно-ориентированных архитектур и потоковой обработки данных в реальном времени.

Как это работает

Основные сущности Kafka:

• Producer — публикует сообщения в топик.
• Topic — логический канал, разделённый на партиции.
• Partition — упорядоченная последовательность сообщений, обеспечивающая параллелизм.
• Consumer — читает сообщения из топика, отслеживая свой offset.
• Broker — сервер, хранящий партиции и обслуживающий клиентов.

Сообщения не удаляются сразу после прочтения, а хранятся заданное время (retention). Это позволяет переигрывать события и подключать новых потребителей без потери данных.

Пример на Node.js

const { Kafka } = require('kafkajs');
const kafka = new Kafka({ brokers: ['localhost:9092'] });

// Producer
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [{ value: JSON.stringify({ id: 1, sum: 100 }) }],
});

// Consumer
const consumer = kafka.consumer({ groupId: 'order-service' });
await consumer.connect();
await consumer.subscribe({ topic: 'orders' });
await consumer.run({
  eachMessage: async ({ message }) => {
    console.log('Получено:', message.value.toString());
  },
});

Зачем нужны брокеры сообщений

• Асинхронность: сервисы не ждут друг друга синхронно.
• Развязка: продюсер не знает о консьюмерах.
• Масштабирование: партиции позволяют обрабатывать поток параллельно.
• Надёжность: репликация партиций защищает от сбоев брокеров.
• Буферизация: сглаживает пиковые нагрузки.

Kafka применяется в аналитике в реальном времени, логах, микросервисной интеграции, CDC и event sourcing. Она особенно полезна там, где важны высокая пропускная способность и сохранение истории событий.

Итог: Kafka стоит применять, когда нужна масштабируемая, отказоустойчивая и асинхронная передача событий между сервисами или потоковая обработка больших объёмов данных.