Как работает механизм polling в сенсорах?

Question

Polling — это периодическая проверка условия через заданный интервал времени. Сенсор «просыпается», проверяет условие и, если оно не выполнено, снова засыпает. Интервал задаётся параметром poke_interval. Такой подход прост, но может потреблять ресурсы, если сенсоров много. Поэтому polling нужно использовать аккуратно.

YeaHub · Accepted Answer

Polling — базовый механизм работы классических сенсоров в Airflow. Он прост в реализации, но имеет свои ограничения.ОпределениеPolling — это регулярная проверка состояния внешнего ресурса через фиксированные интервалы времени.1. Жизненный цикл сенсораРабота сенсора выглядит так:Сенсор запускается.Проверяет условие (poke).Если условие ложно — ждёт poke_interval.Повторяет шаги до успеха или таймаута.Пример логики:while not condition():
    sleep(poke_interval)
2. Ключевые параметры pollingОсновные настройки сенсора:2.1. poke_intervalинтервал между проверками;слишком маленький → высокая нагрузка;слишком большой → высокая задержка.2.2. timeoutмаксимальное время ожидания;по истечении сенсор падает с ошибкой.3. Режимы выполненияКлассические сенсоры:занимают worker на всё время ожидания;блокируют слот executor-а.Это основной источник проблем при масштабировании.4. Почему polling дорогЕсли:много DAG;много сенсоров;длинные таймауты.То:воркеры простаивают;задачи ждут своей очереди;падает общая пропускная способность.5. Краткий выводPolling — простой и понятный механизм ожидания, но он плохо масштабируется. Его стоит использовать только для коротких и редких ожиданий или заменять deferrable-сенсорами.