В каких случаях имеет смысл использовать сенсоры?

Сенсоры — мощный инструмент, но при неправильном использовании они могут стать источником проблем с производительностью и ресурсами.

Определение

Sensor usage pattern — это сценарий, в котором ожидание внешнего условия оправдано архитектурно.

1. Корректные сценарии использования

Сенсоры хорошо подходят, когда:

1.1. Есть жёсткая внешняя зависимость

Например:

• данные загружаются сторонней системой;

• запуск следующего шага без них невозможен.

1.2. Нужно синхронизировать пайплайны

Частый кейс:

• один DAG подготавливает данные;

• второй DAG ждёт завершения первого.

Для этого часто используют ExternalTaskSensor.

2. Пограничные и плохие сценарии

Сенсоры плохо подходят, если:

2.1. Ожидание очень долгое

• часы или дни ожидания;

• большое количество одновременно «висящих» сенсоров.

Это создаёт нагрузку на систему.

2.2. Условие можно сделать событийным

Если внешний сервис может:

• отправить событие;

• дернуть API;

• положить сообщение в очередь.

В таких случаях лучше:

• запускать DAG по событию;

• использовать Kafka или webhook.

3. Практические рекомендации

• всегда задавайте разумный timeout;

• увеличивайте poke_interval для редких проверок;

• используйте deferrable-сенсоры при долгом ожидании.

4. Краткий вывод

Сенсоры стоит использовать, когда без ожидания невозможно продолжить workflow. Для долгих ожиданий и массовых зависимостей лучше выбирать асинхронные или событийные решения.