Spark 4.2 больше не прощает повреждённые чекпоинты

В Apache Spark 4.2 изменили поведение Structured Streaming: если у чекпоинта пропал файл метаданных, но сохранились журналы смещений или коммитов, поток теперь аварийно остановится.

Раньше Spark мог молча создать новый идентификатор запроса и продолжить работу — с риском повторной записи уже обработанных данных даже в приёмники с гарантией exactly-once.

Для инженеров это полезный предохранитель: лучше явно упавший поток, чем незаметные дубли в хранилище.

Документация Apache Spark 4.2

#apacheSpark #dataengineering #streaming #datapipelines #dataquality

#data_engi