Apache Airflow — это платформа для программного создания, планирования и мониторинга рабочих процессов.

Когда рабочие процессы представлены в виде кода, их становится проще поддерживать, обновлять, тестировать и использовать совместно.

Используйте Airflow для создания рабочих процессов (DAG), которые управляют задачами. Планировщик Airflow выполняет ваши задачи на множестве рабочих серверов, соблюдая указанные зависимости. Богатый набор утилит командной строки позволяет легко выполнять сложные операции с DAG.

Благодаря удобному пользовательскому интерфейсу можно легко визуализировать работающие в производственной среде конвейеры, отслеживать прогресс и при необходимости устранять неполадки.

🐱 GitHub