⭐️Упавший Spark-job теперь можно «разморозить» в ноутбуке

Databricks добавила восстановление сессий серверных заданий. После сбоя система может открыть новый интерактивный ноутбук с Python-переменными и Spark-сессией в том состоянии, в котором завершился запуск.

Снимки автоматически создаются при ошибке, отмене, превышении времени или работе дольше 30 минут и хранятся семь дней. Это позволяет исследовать данные и причину сбоя без повторного запуска многочасового конвейера.

Пока функция в Beta и работает только для notebook-задач на serverless compute. Открытые файлы, сетевые соединения, данные от предыдущих задач и другое состояние процесса могут не восстановиться.

#databricks #apachespark #dataops #debugging #serverless #dataengineering

@data_engi