Какие ограничения существуют у XCom?

Хотя XCom выглядит как удобный способ обмена данными, у него есть важные ограничения, которые необходимо учитывать в продакшене.

Определение

XCom limitation — это ограничение, связанное с хранением и передачей данных через metadata database Airflow.

1. Ограничение по размеру данных

XCom:

• не предназначен для больших payload;

• обычно безопасен для килобайт данных, а не мегабайт.

Большие значения:

• увеличивают размер metadata DB;

• замедляют UI и scheduler.

2. Нагрузка на metadata database

Каждый XCom:

• это запись в БД;

• участвует в запросах scheduler-а и UI.

При активном использовании:

• растёт latency;

• ухудшается стабильность Airflow.

3. Сериализация данных

XCom:

• сериализует данные (чаще всего в JSON);

• не все типы данных сериализуются корректно;

• бинарные данные обрабатывать неудобно.

4. Сложность поддержки

При большом количестве XCom:

• сложнее дебажить DAG;

• тяжелее анализировать зависимости;

• сложнее делать миграции.

5. Практические рекомендации

• передавайте через XCom только ссылки и ID;

• большие данные выносите во внешние системы;

• периодически очищайте историю DAG Run.

6. Краткий вывод

XCom удобен, но ограничен по размеру и производительности. Его задача — передача метаданных, а не данных.