Что такое оператор в Airflow и какую роль он выполняет?

Airflow разделяет понятия «что делать» и «когда делать». Оператор отвечает за первое.

Определение

Operator — это объект в Airflow, который описывает единичное действие, выполняемое в рамках DAG.

1. Оператор и задача — не одно и то же

Важно различать:

• оператор — класс (шаблон поведения);

• task — экземпляр оператора внутри DAG.

Пример:

PythonOperator(
    task_id="process_data",
    python_callable=process
)

Здесь:

• PythonOperator — оператор;

• process_data — задача.

2. За что отвечает оператор

Оператор определяет:

• какой код выполняется;

• какие параметры передаются;

• как обрабатывать успех или ошибку.

Но он не определяет:

• расписание;

• зависимости;

• ретраи на уровне DAG (они задаются отдельно).

3. Где выполняется код оператора

Код оператора:

• выполняется на worker-е;

• запускается executor-ом;

• изолирован от scheduler-а.

Это важно для понимания ресурсов и отказов.

4. Повторное использование операторов

Один и тот же оператор:

• можно использовать в разных DAG;

• можно создавать много задач на его основе;

• легко параметризовать.

Это делает Airflow гибким и расширяемым.

5. Практические рекомендации

• используйте готовые операторы, если они есть;

• не перегружайте оператор бизнес-логикой;

• сложную логику выносите в отдельные модули.

6. Краткий вывод

Оператор — это строительный блок задач в Airflow. Он описывает конкретное действие, а DAG определяет, когда и в каком порядке эти действия выполняются.