Главное изменение касается передачи DataFrame через XCom. В pandas 3 класс теперь записывается как
pandas.DataFrame, а не pandas.core.frame.DataFrame. Airflow 3.3.1 поддерживает оба варианта, поэтому старые XCom остаются доступными.
Обновлять нужно все компоненты Airflow до появления pandas 3 на workers. Старые версии Airflow не смогут десериализовать созданные ими DataFrame XCom. Также стоит проверить DAG, которые зависят от конкретных
dtype: строки теперь могут возвращаться как str вместо object, а пропущенные значения — как nan вместо None.Исправлена миграция с Airflow 2.x при использовании custom Dag bundles. Раньше legacy DAG автоматически получали
bundle_name='dags-folder', из-за чего запуск завершался ошибкой. Теперь Airflow определяет bundle по пути к файлу. Принудительно обновить данные можно через airflow dags reserialize.В релиз также вошли исправления безопасности: маскирование team-scoped sensitive config, защита от получения секрета другой команды, очистка secrets в audit logs и Rendered Templates.
Из операционных исправлений: устранены зависания deferrable tasks, CrashLoopBackOff Triggerer при
json_logs, блокировки базы из-за медленных asset listeners и несколько проблем с retries, scheduler и Dag bundles.Источник: [Apache Airflow 3.3.1 Release Notes]
@tldr_data