Как можно реализовать обработку задач через RabbitMQ без Celery?

Celery — это обертка над брокером сообщений, но вся базовая логика может быть реализована напрямую.

Определение: Producer — сервис, отправляющий сообщения в очередь.
Определение: Consumer — сервис, который читает сообщения и обрабатывает их.

1. Архитектура решения

Минимальная схема:

1. API публикует сообщение в очередь.

2. RabbitMQ хранит сообщения.

3. Воркер забирает сообщения и выполняет задачи.

2. Пример producer

Упрощенный пример публикации:

import pika
import json

connection = pika.BlockingConnection(pika.ConnectionParameters("localhost"))
channel = connection.channel()

channel.queue_declare(queue="tasks")

channel.basic_publish(
    exchange="",
    routing_key="tasks",
    body=json.dumps({"task": "send_email", "user_id": 10})
)

3. Пример consumer

def callback(ch, method, properties, body):
    # обработка задачи
    print(body)
    ch.basic_ack(delivery_tag=method.delivery_tag)

channel.basic_consume(queue="tasks", on_message_callback=callback)
channel.start_consuming()

Важно:

• всегда отправлять ack,

• обрабатывать ошибки,

• логировать задачи.

4. Что нужно реализовать вручную

Если не используется Celery, придется самостоятельно решить:

1. Ретраи задач

2. DLQ

3. Мониторинг

4. Ограничение параллелизма

5. Планирование задач

5. Когда это оправдано

Подход без Celery имеет смысл:

• при небольшой системе,

• когда нужен полный контроль,

• когда Celery слишком тяжелый.

Вывод

RabbitMQ можно использовать напрямую через Python-клиенты, но тогда ответственность за ретраи, мониторинг и надежность ложится на разработчика.