Как гарантировать, что сообщение обработает только один из нескольких идентичных консьюмеров?

Когда несколько идентичных консьюмеров слушают один источник сообщений, задача сводится к тому, чтобы брокер гарантировал доставку каждого сообщения ровно одному получателю. Это классический паттерн competing consumers: несколько воркеров конкурируют за сообщения из одной очереди, и брокер отдаёт каждое сообщение только одному из них.

Как это работает в разных брокерах

• RabbitMQ: несколько консьюмеров подключаются к одной очереди. Брокер по round-robin (или с учётом prefetch) отдаёт каждое сообщение одному консьюмеру. Сообщение удаляется только после ack.
• Kafka: консьюмеры объединяются в consumer group. Каждая партиция топика назначается ровно одному консьюмеру группы, поэтому внутри группы дублирования нет.
• SQS: несколько воркеров читают из одной очереди; сообщение становится невидимым (visibility timeout) для остальных на время обработки.

Почему одного распределения недостаточно

Даже при корректном распределении возможны повторные доставки: консьюмер упал после обработки, но до ack; сеть потеряла подтверждение; брокер переотправил сообщение. Поэтому обработку делают идемпотентной — повторная обработка того же сообщения не должна менять результат.

Пример идемпотентной обработки

async function handleMessage(msg) {
  const id = msg.id;
  // Проверяем, не обрабатывали ли уже
  if (await redis.get(`processed:${id}`)) return;

  await processOrder(msg.payload);

  // Помечаем как обработанное с TTL
  await redis.set(`processed:${id}`, '1', 'EX', 86400);
  await channel.ack(msg);
}

Ключевые настройки

1. Prefetch / max.poll.records — ограничивает число сообщений «в работе» у одного консьюмера.
2. Ack после успешной обработки, а не до неё.
3. Уникальный ключ сообщения для дедупликации.
4. Таймауты и retry с backoff для временных сбоев.

Итог: чтобы сообщение обработал только один консьюмер, используйте одну очередь с несколькими воркерами или consumer group в Kafka, а поверх этого делайте обработку идемпотентной — это защитит от повторных доставок и обеспечит корректность при сбоях.