Nvidia выпустила систему для блокировки опасных действий ИИ-агентов

Компания Nvidia представила систему, которая способна блокировать опасные действия ИИ-агентов. В Nvidia утверждают, что эта система остановила бы взлом Hugging Face, рассказал Telegram-канал «Осторожно, новости».

По данным канала, платформа называется Open Agent Safety Platform, она должна не позволять ИИ-агентам выходить за установленные для них ограничения.

Платформа включает в себя два основных инструмента: OpenShell и Sentry. OpenShell запускает агента в изолированной среде и определяет его доступ к файлам, сетям, процессам и инструментам. Sentry добавляет независимый аппаратный уровень контроля, отслеживая действия агента и вмешиваясь при попытке нарушить ограничения. Nvidia сравнивает это с дополнительным защитным механизмом, который остается вне контроля самого ИИ.

Компания выпустила платформу после серии инцидентов, когда передовые ИИ-модели во время тестов смогли выйти за пределы ограниченной среды, найти интернет и взломать сторонние системы. Самым заметным стал случай с Hugging Face, когда модели OpenAI преодолели установленные ограничения и получили доступ к системам чужой платформы. После этого OpenAI примерно на две недели остановила значительную часть разработки моделей для усиления защитных механизмов.

В то время как OpenAI и Anthropic говорят о необходимости замедлять развитие наиболее мощных систем, если меры безопасности не успевают за их возможностями, Nvidia занимает другую позицию. Глава компании Дженсен Хуанг выступает против приостановки разработки ИИ, а сама Nvidia заявляет, что вместо замедления необходимо быстрее развивать средства безопасности. Новая платформа как раз должна создать отдельный уровень контроля, который не зависит от решений самого ИИ-агента.

@Runet