🖼️ Airflow больше не запускает второй Spark-job после падения воркера

В Apache Airflow 3.3 появился встроенный state store: задачи могут сохранять идентификаторы внешних заданий, курсоры и чекпоинты между повторными попытками.

Первым это использовал SparkSubmitOperator. Если воркер Airflow умер во время выполнения, новая попытка подключится к уже запущенному Spark-job, а не отправит ещё один. Режим durable=True включён по умолчанию.

Для инженеров это означает меньше дублей, потерянных вычислений и самодельного хранения состояния через XCom или внешние таблицы.

Apache Airflow 3.3.0

#apacheairflow #apachespark #dataengineering #orchestration #datapipelines #reliability

@data_engi