NVIDIA сделала аварийный тормоз для AI-агентов

Анонсирована Open Agent Safety Platform — система, которая останавливает агентов при попытке выйти за разрешённые границы. В NVIDIA говорят, что она могла бы предотвратить недавний взлом Hugging Face агентами OpenAI.

Первый уровень защиты — OpenShell. Он запускает агента в изолированной среде и контролирует, к каким сетям и инструментам тот может обращаться. Разработчик задаёт разрешения, а система проверяет их соблюдение во время работы.

Второй — Sentry, отдельный «сторож» на чипах NVIDIA BlueField-4. Он следит за агентом независимо от среды, в которой тот работает. По заявлению NVIDIA, при попытке нарушить границы Sentry может изолировать и остановить агента за миллисекунды.

OpenShell уже доступен с открытым кодом. Sentry пока представлен как архитектура дополнительной аппаратной защиты.

https://nvidianews.nvidia.com/news/open-agent-safety-platform