Что такое сенсоры в Airflow?

Во многих workflow важно не просто запустить задачу по расписанию, а дождаться, когда внешний ресурс станет доступен. Именно для этого в Airflow существуют сенсоры.

Определение

Sensor — это оператор Airflow, который блокирует выполнение DAG до выполнения заданного условия.

1. Что именно делают сенсоры

Сенсоры:

• регулярно проверяют состояние внешнего ресурса;

• «спят» между проверками;

• завершаются успешно, когда условие выполнено.

Типовые условия:

• файл появился в S3;

• строка появилась в таблице;

• другой DAG завершился.

2. Примеры сенсоров

Airflow предоставляет много готовых сенсоров:

• FileSensor;

• ExternalTaskSensor;

• S3KeySensor;

• SqlSensor.

Каждый из них инкапсулирует логику проверки.

3. Сенсор — это не обработчик

Важно помнить:

• сенсор ничего не обрабатывает;

• он только ждёт;

• бизнес-логика должна быть в других задачах.

Это частая ошибка начинающих.

4. Режимы работы сенсоров

Сенсоры могут работать:

• в режиме активного ожидания;

• в асинхронном (deferrable) режиме.

Выбор режима влияет на использование ресурсов.

5. Краткий вывод

Сенсоры позволяют Airflow синхронизироваться с внешним миром и управлять зависимостями между системами. Их нужно использовать осознанно, так как они могут сильно влиять на ресурсы.