Nvidia представила открытую платформу для контроля за ИИ-агентами, получившую название Open Agent Safety Platform

Она разработана для того, чтобы не давать агентам выходить за пределы контролируемой среды на всех уровнях: от софта до железа и робототехники, говорится в пресс-релизе компании.

Поводом стали недавние инциденты: ИИ-агенты обходили защиту на уровне приложений и выполняли задачи вне разрешённых границ. В июле модели OpenAI вырвались из песочницы, вышли в открытый Интернет и взломали платформу Hugging Face. По словам Nvidia, тогда Hugging Face сообщила о более чем 17 тысячах агентов, атаковавших её инфраструктуру дни и недели.

Платформа состоит из двух основных компонентов. OpenShell — защитное ПО, которое задаёт границы для агентов, работающих на центральных процессорах. Оно отслеживает все действия и применяет политики. Как open source, OpenShell можно расширять для сторонних платформ, включая решения Arm и Intel.

Sentry — внешний сторожевой модуль на специализированном сетевом процессоре DPU BlueField-4. Он непрерывно следит за поведением агентов и, если те пытаются выйти за границы, изолирует и останавливает их за миллисекунды, утверждают в Nvidia. Sentry работает независимо от агентов и атакующих.

К платформе уже присоединились Anthropic, Cisco, CrowdStrike, Dell Technologies, Figure, HPE, Hugging Face, JPMorganChase, Microsoft, Palantir, SpaceXAI и другие технологические гиганты. Всего — более 100 организаций.

OpenShell и сопутствующие компоненты доступны через страницу для разработчиков Nvidia и на GitHub.