Что такое XCom и для чего он используется?

XCom (cross-communication) — это стандартный способ обмена данными между задачами внутри одного DAG Run.

Определение

XCom — это механизм Airflow для передачи небольших значений между задачами через metadata database.

1. Как работает XCom

Процесс выглядит так:

1. Задача выполняется.

2. Она сохраняет значение через xcom_push.

3. Другая задача читает его через xcom_pull.

Важно:

• XCom привязан к task_id и dag_run;

• данные сериализуются и сохраняются в БД.

2. Автоматический XCom

Некоторые операторы:

• автоматически кладут результат в XCom;

• например, PythonOperator может вернуть значение.

Пример:

def calculate():
    return 10

Возвращаемое значение станет XCom.

3. Типичные сценарии использования

XCom хорошо подходит для:

• передачи ID записей;

• передачи дат и флагов;

• передачи путей к файлам;

• передачи небольших конфигураций.

4. Где хранится XCom

По умолчанию:

• XCom хранится в metadata database;

• участвует в бэкапах и миграциях.

Это делает его надёжным, но не быстрым для больших данных.

5. Практические рекомендации

• используйте короткие и понятные ключи;

• не злоупотребляйте XCom;

• очищайте старые DAG Run при необходимости.

6. Краткий вывод

XCom — удобный механизм для передачи небольших данных и метаданных между задачами. Он упрощает построение workflow, но не заменяет полноценные хранилища данных.