Из каких основных компонентов состоит Airflow?

Question

Airflow состоит из нескольких ключевых компонентов: scheduler, webserver, metadata database и executor. Scheduler решает, какие задачи и когда запускать. Webserver предоставляет интерфейс для мониторинга и управления. Metadata database хранит состояние DAG и задач. Executor отвечает за фактическое выполнение задач.

YeaHub · Accepted Answer

Airflow architecture — это набор сервисов, которые совместно управляют планированием, запуском и мониторингом workflow.1. SchedulerScheduler — «мозг» Airflow.Он отвечает за:чтение DAG-файлов;определение, какие задачи готовы к запуску;постановку задач в очередь на выполнение.Важно:scheduler не выполняет задачи сам;он только принимает решение, что и когда запускать.2. ExecutorExecutor определяет, где и как будет выполняться задача.Типовые варианты:SequentialExecutor — локально, по одной задаче (dev);LocalExecutor — параллельно на одной машине;CeleryExecutor — распределённо через очередь;KubernetesExecutor — каждая задача в отдельном pod.Выбор executor напрямую влияет на масштабируемость.3. WorkersWorkers — это процессы или контейнеры, которые:получают задачу от executor;выполняют пользовательский код;возвращают результат выполнения.Именно здесь выполняются Python-скрипты, SQL-запросы и вызовы API.4. Metadata DatabaseMetadata DB хранит состояние системы:статусы DAG и задач;расписания;retries;XCom;информацию о выполнениях.Чаще всего используется PostgreSQL или MySQL.Важно:потеря базы = потеря состояния Airflow;это критический компонент.5. WebserverWebserver предоставляет UI:просмотр DAG;логов задач;ручной запуск;управление паузами и параметрами.Webserver:не участвует в выполнении задач;может масштабироваться независимо.6. Краткий выводAirflow состоит из набора специализированных компонентов, где scheduler принимает решения, executor и workers выполняют задачи, а metadata database хранит состояние. Понимание этой схемы важно для стабильной работы и масштабирования.