Что такое оператор в Airflow и какую роль он выполняет?

Question

Оператор в Airflow — это шаблон для выполнения конкретного действия. Он описывает, что именно нужно сделать: запустить Python-код, выполнить SQL или вызвать API. Задача создаётся на основе оператора внутри DAG. Один оператор можно использовать много раз. Оператор не управляет порядком выполнения — этим занимается DAG.

YeaHub · Accepted Answer

Airflow разделяет понятия «что делать» и «когда делать». Оператор отвечает за первое.ОпределениеOperator — это объект в Airflow, который описывает единичное действие, выполняемое в рамках DAG.1. Оператор и задача — не одно и то жеВажно различать:оператор — класс (шаблон поведения);task — экземпляр оператора внутри DAG.Пример:PythonOperator(
    task_id="process_data",
    python_callable=process
)
Здесь:PythonOperator — оператор;process_data — задача.2. За что отвечает операторОператор определяет:какой код выполняется;какие параметры передаются;как обрабатывать успех или ошибку.Но он не определяет:расписание;зависимости;ретраи на уровне DAG (они задаются отдельно).3. Где выполняется код оператораКод оператора:выполняется на worker-е;запускается executor-ом;изолирован от scheduler-а.Это важно для понимания ресурсов и отказов.4. Повторное использование операторовОдин и тот же оператор:можно использовать в разных DAG;можно создавать много задач на его основе;легко параметризовать.Это делает Airflow гибким и расширяемым.5. Практические рекомендациииспользуйте готовые операторы, если они есть;не перегружайте оператор бизнес-логикой;сложную логику выносите в отдельные модули.6. Краткий выводОператор — это строительный блок задач в Airflow. Он описывает конкретное действие, а DAG определяет, когда и в каком порядке эти действия выполняются.