В чем отличие Apache Kafka от RabbitMQ?

Основные различия между Apache Kafka и RabbitMQ

Apache Kafka и RabbitMQ — это два популярных инструмента для обмена сообщениями, но они решают разные задачи. Kafka изначально создавался как распределенная платформа для потоковой обработки событий (event streaming), где данные хранятся на диске и могут быть повторно прочитаны. RabbitMQ — это классический брокер сообщений (message broker), который фокусируется на надежной доставке сообщений от отправителя к получателю с использованием очередей.

Архитектура и модель работы

Kafka использует модель publish-subscribe с топиками (topics), где сообщения хранятся в виде логов и могут быть прочитаны несколькими потребителями (consumers) с разными offset. RabbitMQ использует модель очередей (queues) с поддержкой различных протоколов (AMQP, MQTT, STOMP) и сложной маршрутизацией через exchanges.

Пример кода: отправка и получение сообщения в Kafka

// Отправка сообщения в Kafka (Producer)
const { Kafka } = require('kafkajs');
const kafka = new Kafka({ clientId: 'my-app', brokers: ['localhost:9092'] });
const producer = kafka.producer();
await producer.connect();
await producer.send({ topic: 'test-topic', messages: [{ value: 'Hello Kafka' }] });

// Получение сообщения (Consumer)
const consumer = kafka.consumer({ groupId: 'test-group' });
await consumer.connect();
await consumer.subscribe({ topic: 'test-topic', fromBeginning: true });
await consumer.run({ eachMessage: async ({ message }) => console.log(message.value.toString()) });

Пример кода: отправка и получение сообщения в RabbitMQ

// Отправка сообщения в RabbitMQ (Producer)
const amqp = require('amqplib');
const connection = await amqp.connect('amqp://localhost');
const channel = await connection.createChannel();
await channel.assertQueue('test-queue');
channel.sendToQueue('test-queue', Buffer.from('Hello RabbitMQ'));

// Получение сообщения (Consumer)
const connection = await amqp.connect('amqp://localhost');
const channel = await connection.createChannel();
await channel.assertQueue('test-queue');
channel.consume('test-queue', msg => { console.log(msg.content.toString()); channel.ack(msg); });

Когда что использовать

• Kafka: для обработки больших потоков данных (логи, метрики, события), когда важна высокая пропускная способность и возможность повторного чтения данных. Подходит для систем реального времени и аналитики.
• RabbitMQ: для микросервисной архитектуры, где нужна гибкая маршрутизация, гарантированная доставка и поддержка сложных сценариев (например, RPC или отложенные задачи).

Выбор между Kafka и RabbitMQ зависит от требований к производительности, надежности и сложности маршрутизации. Kafka лучше для потоковой обработки, RabbitMQ — для традиционных очередей сообщений.