Что такое XCom и для чего он используется?

Question

XCom — это механизм передачи небольших данных между задачами Airflow. Он позволяет одной задаче сохранить значение, а другой — прочитать его. XCom хранится в metadata database. Обычно его используют для передачи идентификаторов, флагов или путей к данным. Для больших данных XCom не подходит.

YeaHub · Accepted Answer

XCom (cross-communication) — это стандартный способ обмена данными между задачами внутри одного DAG Run.ОпределениеXCom — это механизм Airflow для передачи небольших значений между задачами через metadata database.1. Как работает XComПроцесс выглядит так:Задача выполняется.Она сохраняет значение через xcom_push.Другая задача читает его через xcom_pull.Важно:XCom привязан к task_id и dag_run;данные сериализуются и сохраняются в БД.2. Автоматический XComНекоторые операторы:автоматически кладут результат в XCom;например, PythonOperator может вернуть значение.Пример:def calculate():
    return 10
Возвращаемое значение станет XCom.3. Типичные сценарии использованияXCom хорошо подходит для:передачи ID записей;передачи дат и флагов;передачи путей к файлам;передачи небольших конфигураций.4. Где хранится XComПо умолчанию:XCom хранится в metadata database;участвует в бэкапах и миграциях.Это делает его надёжным, но не быстрым для больших данных.5. Практические рекомендациииспользуйте короткие и понятные ключи;не злоупотребляйте XCom;очищайте старые DAG Run при необходимости.6. Краткий выводXCom — удобный механизм для передачи небольших данных и метаданных между задачами. Он упрощает построение workflow, но не заменяет полноценные хранилища данных.