Какие типы операторов существуют в Airflow?

Question

В Airflow существуют операторы для выполнения кода, работы с базами данных, взаимодействия с внешними сервисами и управления зависимостями. Самые базовые — PythonOperator, BashOperator и SQL-операторы. Есть операторы для облачных сервисов и Kubernetes. Также существуют специальные операторы для управления workflow. Обычно выбирают самый простой оператор, который решает задачу.

YeaHub · Accepted Answer

Airflow предоставляет большое количество операторов, но все они укладываются в несколько логических категорий. Понимание этих категорий упрощает проектирование DAG.ОпределениеAirflow operator types — это группы операторов, объединённых по назначению и способу выполнения задач.1. Базовые операторыЭто операторы общего назначения, которые используются чаще всего.1.1. PythonOperatorИспользуется для выполнения Python-функций.подходит для лёгкой логики;часто выступает «клеем» между шагами.1.2. BashOperatorВыполняет shell-команды.полезен для скриптов;часто применяется для утилит и CLI.2. Операторы для работы с базами данныхЭти операторы инкапсулируют работу с SQL и хранилищами.Примеры:PostgresOperator;MySqlOperator;ClickHouseOperator (через провайдеры).Они:выполняют SQL-запросы;управляют транзакциями;упрощают подключение.3. Transfer-операторыИспользуются для передачи данных между системами.Примеры задач:копирование данных из БД в хранилище;загрузка файлов;перенос данных между сервисами.Это удобно для ETL-сценариев.4. Cloud- и Kubernetes-операторыAirflow имеет интеграции с облаками.Примеры:операторы для S3, GCS;KubernetesPodOperator.Они позволяют:запускать задачи в контейнерах;масштабировать нагрузку;изолировать окружение.5. Служебные операторыОтвечают за управление workflow, а не за бизнес-логику.Примеры:DummyOperator;BranchPythonOperator;ShortCircuitOperator.Они помогают:строить условную логику;управлять ветвлениями DAG.6. Краткий выводОператоры Airflow делятся на базовые, интеграционные и служебные. На практике чаще всего используют PythonOperator и операторы для БД, а остальные подключают по мере необходимости.