Как передать данные между задачами в Airflow?

Airflow построен так, чтобы задачи были максимально независимыми. Поэтому передача данных между ними реализована не напрямую, а через централизованный механизм.

Определение

Inter-task communication — это способ передачи данных между задачами Airflow без прямых вызовов между ними.

1. Почему нельзя передавать данные напрямую

Задачи Airflow:

• могут выполняться на разных worker-ах;

• могут запускаться в разное время;

• не разделяют общую память.

Поэтому:

• нельзя просто вернуть значение из одной задачи в другую;

• нельзя использовать глобальные переменные.

2. Основной механизм — XCom

Для передачи данных Airflow использует XCom:

• данные сохраняются в metadata database;

• привязываются к конкретной задаче и запуску DAG;

• могут быть прочитаны другими задачами.

Пример идеи:

context["ti"].xcom_push(key="result", value=42)

3. Альтернативные подходы

Для реальных данных чаще используют:

• базы данных;

• объектные хранилища (S3, GCS);

• файлы;

• внешние сервисы.

Airflow управляет процессом, но не становится транспортом данных.

4. Практические рекомендации

• передавайте через XCom только метаданные;

• большие данные храните во внешних системах;

• явно документируйте, какие XCom используются.

5. Краткий вывод

В Airflow данные между задачами передаются через XCom или внешние хранилища. XCom удобен для небольших значений, но не предназначен для передачи данных.