В Apache Airflow 3.3
SparkSubmitOperator получил отказоустойчивый режим durable=True, включённый по умолчанию. Идентификатор удалённого задания сохраняется во встроенном хранилище состояния.Если worker погибает во время выполнения, повторная попытка подключается к уже работающему Spark-job, а не отправляет ещё один. Это снижает риск двойной записи данных, лишней нагрузки и оплаты двух одинаковых вычислений.
То же хранилище можно использовать для курсоров, контрольных точек и идентификаторов внешних задач — вместо самодельных схем на XCom и Variables.
Apache Airflow релиз 3.3.0 от 6 июля 2026 года
#apacheairflow #apachespark #dataops #faulttolerance #orchestration #dataengineering
@data_engi