Какие стратегии можно использовать, чтобы “плохие” сообщения не блокировали очередь?

Question

Основные стратегии — ограничение числа повторных попыток, использование DLQ и отложенных повторных доставок. Также применяют exponential backoff, чтобы снизить нагрузку при повторных попытках. Полезно разделять очереди по типам задач и изолировать тяжелые сообщения. Воркеры должны корректно обрабатывать исключения и не падать полностью.

YeaHub · Accepted Answer

Чтобы “плохие” сообщения не блокировали обработку, применяют несколько архитектурных паттернов.

1) Retry с задержкой (backoff)

Схема:

сообщение не обработалось
отправляется в retry-очередь
через TTL возвращается обратно

Плюсы:

снижает нагрузку
дает время на восстановление зависимостей

2) Dead Letter Queue

Используется для:

сообщений, превышающих лимит попыток
сообщений с некорректным форматом

Это предотвращает бесконечный цикл повторной доставки.

3) Разделение очередей

Подход:

разные очереди для разных типов задач
тяжелые задачи не мешают легким

4) Ограничение параллелизма

Настройка:

prefetch
количество воркеров

Это предотвращает захват всей очереди проблемными задачами.

5) Circuit breaker и таймауты

Если внешняя система недоступна:

временно прекращают запросы
сообщения отправляются в retry

Вывод
Стратегия обычно комбинирует retry, DLQ, backoff и изоляцию очередей, что предотвращает блокировку пайплайна.

Какие стратегии можно использовать, чтобы “плохие” сообщения не блокировали очередь?

Короткий ответ

Длинный ответ

1) Retry с задержкой (backoff)

2) Dead Letter Queue

3) Разделение очередей

4) Ограничение параллелизма

5) Circuit breaker и таймауты

Какие стратегии можно использовать, чтобы “плохие” сообщения не блокировали очередь?

Короткий ответ

Длинный ответ

1) Retry с задержкой (backoff)

2) Dead Letter Queue

3) Разделение очередей

4) Ограничение параллелизма

5) Circuit breaker и таймауты