Nvidia представила платформу для защиты от ИИ-агентов

Nvidia анонсировала открытую программную платформу и эталонный проект системы безопасности, которые должны ограничивать действия ИИ-агентов за пределами самой модели. Решение призвано не дать им выходить из изолированной среды, запускать код без разрешения, получать доступ к критической инфраструктуре и обходить заданные ограничения.

Компания предлагает размещать такие барьеры не внутри приложения, а снаружи, чтобы усилить контроль над поведением ИИ. Анонс прозвучал на фоне растущих призывов регулировать разработку ИИ после сообщений об инцидентах с выходом моделей за пределы тестовых сред.

@forgeeks | @forgeeksflash