Как в Airflow реализуется многопоточность, если он сам не асинхронный?

Как Airflow реализует многопоточность

Apache Airflow спроектирован как синхронный планировщик, но для параллельного выполнения задач использует механизм Executor'ов. Executor — это компонент, который определяет, как и где будут запускаться задачи (tasks). В зависимости от выбранного Executor'а, Airflow может выполнять задачи последовательно, параллельно на одной машине или распределённо на нескольких узлах.

Типы Executor'ов

• SequentialExecutor — выполняет задачи одну за другой в одном процессе. Используется по умолчанию для отладки, не подходит для продакшена.
• LocalExecutor — запускает каждую задачу в отдельном процессе на локальной машине. Позволяет параллельно выполнять несколько задач, используя multiprocessing.
• CeleryExecutor — передаёт задачи в очередь Celery, которая распределяет их между воркерами на разных серверах. Это основной способ масштабирования Airflow.
• KubernetesExecutor — создаёт отдельный Pod для каждой задачи в Kubernetes, обеспечивая изоляцию и динамическое масштабирование.

Пример конфигурации

Для использования LocalExecutor в файле airflow.cfg нужно указать:

[core]
executor = LocalExecutor
parallelism = 32

Параметр parallelism задаёт максимальное количество одновременно выполняемых задач.

Вывод

Airflow не является асинхронным, но эффективно реализует многопоточность через Executor'ы, которые управляют параллельным выполнением задач в отдельных процессах или на разных машинах. Для продакшен-сред рекомендуется использовать CeleryExecutor или KubernetesExecutor для распределённого выполнения.