Nvidia представила платформу с открытым исходным кодом для контроля автономных ИИ-агентов и предотвращения их выхода за пределы тестовой среды, сообщает Bloomberg.

Open Agent Safety Platform состоит из двух инструментов, которые в реальном времени отслеживают действия ИИ-агентов и принудительно останавливают их при нарушении установленных правил.

В Nvidia заявили, что такая система могла бы предотвратить недавний взлом платформы Hugging Face, совершенный моделями OpenAI.