Вдогонку.

Мой главный вопрос к старичку Airflow это то, что он стал слишком сложный.

С каждым мажорным релизом он становится еще сложнее. Вот в единичке и двойке были всем известные проблемы с шедулером - зависает, собака. Так давайте его в тройке распилим на несколько подсервисов. И еще даг процессор унесем отдельно чтоб один тяжело написанный даг файл не унес с собой в могилу весь сервис.

В моменте это даже нормальные решения. Но то что в итоге получилось это то ли 7, то ли 9 сервисов, которые надо размещать, управлять, за которыми надо следить.

Потом во все это залетают Vault для кредов, keycloak для аутентификаций, эластика или s3 для логов, сложные github/gitlab CI-CD для управления дагами. Потом все это надо повторить на нескольких QA-Test средах. Отдельное приключение - управление сложными питонячьими окружениями во всем этом.

Некоторые “умельцы» добавляют в это месиво еще своей сложности - например для синхронизации нескольких команд, которые на разных стадиях обслуживают один пайп данных. Для чего делают свои оркестраторы поверх этого оркестратора.

Дата инженерам не то чтобы комфортно, у ДевОпсов вскипает мозг от того, сколько всего надо сделать, чтобы весь этот жуткий зоопарк завелся.

И тут ты понимаешь, что все это нужно чтобы фактически запустить умный крон с граф интерфейсом. Траблшутнуть что-то по логам, поправить и перезапустить упавшее под-деревце из твоего куста. И твой проект не такой уж сложный, чтобы это все оправдать. Да и за мис по SLA или DQ не то чтобы отвезут в лес в пакете. Тогда зачем этот мудреный комбайн?

Решено, делаю свой оркестратор!