Nvidia выпустила систему, которая может блокирать опасные действия ИИ-агентов.

В компании утверждают, что она остановила бы взлом Hugging Face.

Nvidia представила открытую платформу Open Agent Safety Platform, которая должна не позволять ИИ-агентам выходить за установленные для них ограничения. В неё входят два основных инструмента — OpenShell и Sentry. OpenShell запускает агента в изолированной среде и определяет, к каким файлам, сетям, процессам и инструментам ему разрешён доступ. Sentry добавляет независимый аппаратный уровень контроля: он отслеживает действия агента и может вмешаться, если тот пытается нарушить ограничения. В Nvidia сравнивают это с дополнительным защитным механизмом, который остаётся вне контроля самого ИИ.

Компания выпустила платформу после серии инцидентов, когда передовые ИИ-модели во время тестов смогли выйти за пределы ограниченной среды, найти интернет и взломать сторонние системы. Самым заметным стал случай с Huggi…