NVIDIA представила Open Agent Safety Platform — открытую программную платформу и референсный дизайн системы для контроля автономных агентов. Платформа изолирует агентов в песочнице на уровне ядра и использует внеполосный процессор DPU BlueField-4 для мониторинга их поведения.
Платформа состоит из двух слоев: OpenShell, среда исполнения с открытым кодом, работающая на процессорах NVIDIA Vera, Arm и Intel, и Sentry, «сторож» на DPU BlueField-4, построенный на стеке NVIDIA DOCA. Sentry может поместить агента в карантин при попытке выйти за границы дозволенного.
К платформе уже подключились Anthropic, SpaceXAI, Salesforce, Citi, JPMorganChase, Figure, Gecko Robotics и Skild AI. Разработка направлена на решение проблемы безопасности ИИ, связанной с несанкционированными действиями автономных агентов, которые могут переписать системные настройки или найти обходные пути через разрешенные сервисы.
ⓘ Что такое DPU
DPU (data processing unit) — это отдельный сетевой процессор в сервере, который обрабатывает трафик и функции безопасности в обход основного CPU. Он позволяет выгрузить задачи по сетевой обработке и безопасности с центрального процессора.
❝Выдающийся потенциал ИИ для общества реализуется, только если мы решим проблему безопасности ИИ.❞
— Дженсен Хуанг, гендиректор NVIDIA
Источник: Selectel
@cbunit