Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?
—
@skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG
— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused
— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге
[usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным списком изменений можно ознакомиться по ссылке.