Какие ограничения существуют у XCom?

Question

XCom имеет ограничения по размеру данных и скорости работы. Он хранится в базе данных Airflow, поэтому большие объёмы сильно нагружают БД. Также XCom не предназначен для передачи бинарных данных. Массовое использование XCom усложняет поддержку системы. Его следует использовать только для метаданных.

YeaHub · Accepted Answer

Хотя XCom выглядит как удобный способ обмена данными, у него есть важные ограничения, которые необходимо учитывать в продакшене.ОпределениеXCom limitation — это ограничение, связанное с хранением и передачей данных через metadata database Airflow.1. Ограничение по размеру данныхXCom:не предназначен для больших payload;обычно безопасен для килобайт данных, а не мегабайт.Большие значения:увеличивают размер metadata DB;замедляют UI и scheduler.2. Нагрузка на metadata databaseКаждый XCom:это запись в БД;участвует в запросах scheduler-а и UI.При активном использовании:растёт latency;ухудшается стабильность Airflow.3. Сериализация данныхXCom:сериализует данные (чаще всего в JSON);не все типы данных сериализуются корректно;бинарные данные обрабатывать неудобно.4. Сложность поддержкиПри большом количестве XCom:сложнее дебажить DAG;тяжелее анализировать зависимости;сложнее делать миграции.5. Практические рекомендациипередавайте через XCom только ссылки и ID;большие данные выносите во внешние системы;периодически очищайте историю DAG Run.6. Краткий выводXCom удобен, но ограничен по размеру и производительности. Его задача — передача метаданных, а не данных.