Как передать данные между задачами в Airflow?

Question

В Airflow задачи не передают данные напрямую друг другу. Для этого используется специальный механизм XCom. Одна задача может сохранить данные, а другая — прочитать их. Такой подход позволяет сохранять изоляцию задач. Однако XCom предназначен только для небольших объёмов данных.

YeaHub · Accepted Answer

Airflow построен так, чтобы задачи были максимально независимыми. Поэтому передача данных между ними реализована не напрямую, а через централизованный механизм.ОпределениеInter-task communication — это способ передачи данных между задачами Airflow без прямых вызовов между ними.1. Почему нельзя передавать данные напрямуюЗадачи Airflow:могут выполняться на разных worker-ах;могут запускаться в разное время;не разделяют общую память.Поэтому:нельзя просто вернуть значение из одной задачи в другую;нельзя использовать глобальные переменные.2. Основной механизм — XComДля передачи данных Airflow использует XCom:данные сохраняются в metadata database;привязываются к конкретной задаче и запуску DAG;могут быть прочитаны другими задачами.Пример идеи:context["ti"].xcom_push(key="result", value=42)
3. Альтернативные подходыДля реальных данных чаще используют:базы данных;объектные хранилища (S3, GCS);файлы;внешние сервисы.Airflow управляет процессом, но не становится транспортом данных.4. Практические рекомендациипередавайте через XCom только метаданные;большие данные храните во внешних системах;явно документируйте, какие XCom используются.5. Краткий выводВ Airflow данные между задачами передаются через XCom или внешние хранилища. XCom удобен для небольших значений, но не предназначен для передачи данных.