Отвлечемся немного от Data Mesh, тем более, что книга у меня идет неожиданно тяжело.
Наткнулся на днях в одной заблокированной в РФ соцсети на статью стратегического директора компании Astronomer (если кто еще не в курсе, то это, пожалуй, главный популяризатор Apache Airflow) товарища Викрама Коки (не путать с Клавой), посвященную предстоящему в 2025 году выходу Airflow 3.0.

Автор называет предстоящий релиз важнейшим в истории и возвещает о величайших улучшениях, несущих пользу всему сообществу пользователей самого популярного оркестратора потоков данных.

Парочка из них точно заслуживает упоминания:

➕ Версионирование DAG-ов.
Здесь обещаются улучшения в плане сохранения истории. Например, удаленные задачи останутся в UI, а перемещенные в другую группу будут отображаться и в старой, и в новой.

➕ Улучшен Bacfill.
Должна появиться возможность создавать и запуcкать Backfill-задания через UI/API, а также управлять ими и мониторить их состояние (сейчас только через CLI).

За остальными — сюда

#airflow