Nvidia представила платформу Open Agent Safety Platform для контроля автономных ИИ-агентов. Система должна ограничивать их доступ к корпоративным данным, программам, интернет-ресурсам и не позволять выполнять потенциально опасные действия.
Платформа включает два основных инструмента. OpenShell запускает ИИ-агента в изолированной среде и определяет, к каким файлам, сетям и программам он может обращаться. Sentry независимо следит за его действиями и может вмешаться при попытке выйти за установленные ограничения.
Глава Nvidia Дженсен Хуанг отмечает: подобные средства необходимы, поскольку ИИ-агенты получают все больше возможностей самостоятельно работать с цифровыми системами. А ограничений, встроенных непосредственно в ИИ-модель, для безопасной работы уже недостаточно.
Разработка появилась на фоне нескольких инцидентов, когда экспериментальные ИИ-агенты обошли заданные ограничения и получили доступ к внешним ресурсам. Nvidia рассчитывает создать дополнительный уровень защиты, который будет работать независимо от самого ИИ.
Фото: генерация ChatGPT
💬 «Мир Робототехники» в MAX
Сайт | VK | Telegram
#МирРобототехники #Инновации #Технологии #Нейросети #ИИ #Безопасность