LocalAI 4.10.0 получил панель управления кластером и CLI-бенчмарк

Команда LocalAI выпустила версию 4.10.0. Это открытый движок для разработчиков и команд, которые запускают языковые, визуальные и другие ИИ-модели на своей инфраструктуре. Операторы распределённых установок теперь могут следить за ресурсами воркеров и размещением реплик моделей, а также массово обслуживать, возвращать в работу и удалять узлы.

Релиз добавил команду benchmark для измерения задержки и скорости генерации через API. Доступ к приватным OCI-реестрам, галереям и HTTP-загрузкам теперь хранится в едином credentials.yaml, причём обновлённые секреты Kubernetes применяются без перезапуска.

В новости Tproger — какие уязвимости и сбои исправили и что проверить перед обновлением в продакшене.