Почему XCom не подходит для передачи больших объёмов данных?

Question

XCom хранит данные в metadata database Airflow. Большие объёмы данных перегружают базу и замедляют работу системы. Это ухудшает scheduler, UI и выполнение DAG. XCom не оптимизирован для потоковой передачи или хранения данных. Поэтому его используют только для небольших значений.

YeaHub · Accepted Answer

Ограничение XCom — это не «случайное неудобство», а осознанное архитектурное решение Airflow.ОпределениеXCom anti-pattern — использование XCom для передачи больших данных, что приводит к деградации Airflow.1. Архитектура храненияXCom:хранится в metadata database;используется scheduler-ом и UI;участвует в системных запросах.Большие данные:увеличивают размер таблиц;замедляют все операции Airflow.2. Влияние на стабильность системыПри передаче больших payload:растёт время ответа БД;scheduler начинает отставать;увеличивается риск ошибок и timeouts.В итоге страдает весь кластер Airflow.3. Отсутствие оптимизаций под данныеXCom:не потоковый;не сжимает данные эффективно;не предназначен для файлов или batch-данных.Это принципиально не его задача.4. Правильная альтернативаДля больших данных:сохраняйте их в БД или хранилище;передавайте через XCom только путь или ID.Пример подхода:задача A пишет файл в S3;через XCom передаётся путь;задача B читает файл по этому пути.5. Краткий выводXCom не подходит для больших данных, потому что он использует metadata database Airflow и влияет на работу всей системы. Его правильное назначение — передача метаданных, а не данных.