Как выстроить pipeline обработки данных с несколькими этапами?

Pipeline обычно строится как последовательность независимых этапов, где каждый этап выполняет одну задачу. Этапы связываются через очереди или события, чтобы снизить связанность. Каждый шаг должен быть идемпотентным и уметь обрабатывать повторы. Ошибки обрабатываются отдельно, чтобы не останавливать весь поток. Такой подход упрощает масштабирование и отладку.