☝🏻Nvidia обещает решить проблему ИИ-агентов, которые сбегают из песочниц

Корпорация представила Open Agent Safety Platform. Это двухуровневая система контроля автономных ИИ-агентов с открытым исходным кодом.🛡

Она в реальном времени следит за тем, что делает агент, и принудительно его останавливает, если тот нарушает заданные правила.

Система состоит из двух частей:
🔻 OpenShell работает на процессорах Nvidia Vera и задаёт агенту жёсткие границы доступа
🔻 Nvidia Sentry работает на DPU BlueField, замечает аномальное поведение модели и изолирует агента за миллисекунды⚡️

☝🏻В Nvidia утверждают, что их система предотвратила бы недавний взлом Hugging Face, который устроили модели OpenAI.🤔

Глава корпорации Дженсен Хуанг и вовсе заявил, что безопасность ИИ исключительно инженерная задача и её надо решать тестами и архитектурой, а не регулированием и замедлением прогресса.
================
👁 News | 👁 Soft | 👁 Hacker