Как работает механизм polling в сенсорах?

Polling — базовый механизм работы классических сенсоров в Airflow. Он прост в реализации, но имеет свои ограничения.

Определение

Polling — это регулярная проверка состояния внешнего ресурса через фиксированные интервалы времени.

1. Жизненный цикл сенсора

Работа сенсора выглядит так:

1. Сенсор запускается.

2. Проверяет условие (poke).

3. Если условие ложно — ждёт poke_interval.

4. Повторяет шаги до успеха или таймаута.

Пример логики:

while not condition():
    sleep(poke_interval)

2. Ключевые параметры polling

Основные настройки сенсора:

2.1. poke_interval

• интервал между проверками;

• слишком маленький → высокая нагрузка;

• слишком большой → высокая задержка.

2.2. timeout

• максимальное время ожидания;

• по истечении сенсор падает с ошибкой.

3. Режимы выполнения

Классические сенсоры:

• занимают worker на всё время ожидания;

• блокируют слот executor-а.

Это основной источник проблем при масштабировании.

4. Почему polling дорог

Если:

• много DAG;

• много сенсоров;

• длинные таймауты.

То:

• воркеры простаивают;

• задачи ждут своей очереди;

• падает общая пропускная способность.

5. Краткий вывод

Polling — простой и понятный механизм ожидания, но он плохо масштабируется. Его стоит использовать только для коротких и редких ожиданий или заменять deferrable-сенсорами.