В каких случаях имеет смысл использовать сенсоры?

Question

Сенсоры имеет смысл использовать, когда нужно дождаться внешнего события перед продолжением workflow. Это может быть появление данных, завершение другого DAG или готовность внешнего сервиса. Они полезны для синхронизации пайплайнов. Сенсоры не подходят для длительного ожидания без крайней необходимости. В таких случаях лучше искать событийные или асинхронные альтернативы.

YeaHub · Accepted Answer

Сенсоры — мощный инструмент, но при неправильном использовании они могут стать источником проблем с производительностью и ресурсами.ОпределениеSensor usage pattern — это сценарий, в котором ожидание внешнего условия оправдано архитектурно.1. Корректные сценарии использованияСенсоры хорошо подходят, когда:1.1. Есть жёсткая внешняя зависимостьНапример:данные загружаются сторонней системой;запуск следующего шага без них невозможен.1.2. Нужно синхронизировать пайплайныЧастый кейс:один DAG подготавливает данные;второй DAG ждёт завершения первого.Для этого часто используют ExternalTaskSensor.2. Пограничные и плохие сценарииСенсоры плохо подходят, если:2.1. Ожидание очень долгоечасы или дни ожидания;большое количество одновременно «висящих» сенсоров.Это создаёт нагрузку на систему.2.2. Условие можно сделать событийнымЕсли внешний сервис может:отправить событие;дернуть API;положить сообщение в очередь.В таких случаях лучше:запускать DAG по событию;использовать Kafka или webhook.3. Практические рекомендациивсегда задавайте разумный timeout;увеличивайте poke_interval для редких проверок;используйте deferrable-сенсоры при долгом ожидании.4. Краткий выводСенсоры стоит использовать, когда без ожидания невозможно продолжить workflow. Для долгих ожиданий и массовых зависимостей лучше выбирать асинхронные или событийные решения.