Группа Arenadata представила новую версию модуля ADH Cloud для универсальной гибридной платформы данных Arenadata Hyperwave (ADH).
❕Главный акцент релиза — развитие экосистемы Spark в Kubernetes: управление жизненным циклом приложений, распределение ресурсов и анализ истории выполнения задач.
Ключевые изменения в ADH Cloud 1.4.0
🔹Оператор Spark — автоматизирует жизненный цикл приложений: от развёртывания и масштабирования до очистки ресурсов.
🔹YuniKorn — управляет очередями задач и распределением ресурсов между пользователями и командами.
🔹Celeborn — переносит shuffle-операции во внешнее хранилище, позволяя запускать Spark на рабочих узлах без физических локальных дисков.
🔹Spark History Server — сохраняет историю выполнения приложений для анализа логов, метрик и статусов после завершения работы.
Другие обновления релиза:
☑️ Интеграция с Prometheus и VictoriaMetrics для сбора метрик состояния оператора Kerberos.
☑️ Использование предварительно созданных секретов Kubernetes с централизованным хранением.
☑️ Расширение возможностей Arenadata Cloud CLI: команда
adc list позволяет быстро получить информацию о текущем состоянии инфраструктуры.📞 Иван Никерин, технический менеджер продукта, Cloud & Data Services:
Тонкое управление вычислительными нагрузками — следующий шаг после запуска движков в Kubernetes. YuniKorn и Celeborn закрывают исторические ограничения Spark в контейнерной среде: непредсказуемое распределение ресурсов между командами и зависимость от локальных дисков.
Подробнее >>
#ArenadataHyperwave #ADHCloud