Что: NVIDIA Open Agent Safety Platform позволит ограничивать поведение агентов на уровне железа
Ссылка: https://developer.nvidia.com/blog/nvidia-open-agent-safety-platform-a-reference-for-continuous-in-silicon-agent-monitoring
Почему интересно: На фоне недавних инцидентов, когда ИИ-агенты успешно ломали границы сред оценки и пробирались куда им не следовало, NVIDIA представила Open Agent Safety Platform. Дженсен "40 курток" Хуанг и команда предлагают платформенно решать проблему на уровне железа.
Платформа состоит из двух главных компонентов. OpenShell - open source рантайм с лицензией Apache 2.0, который запускает агентов в изолированных песочницах с защитой на уровне ядра. Второй компонент, Sentry, это внешний смотрящий контур безопасности, который работает на DPU BlueField-4. Sentry мониторит поведение агента в кремнии и может отрубить доступ за миллисекунды, если тот попытается сделать что-то запрещённое. Агент (пока) не подозревает, что за ним следят, потому что мониторинг происходит вне его зоны досягаемости. Т.е. контрольный контур физически отделён от хоста, поэтому даже если агент скомпрометирует саму машину, он не дотянется до смотрящего, потому что тот в другой кремниевой плоскости.
За благими намерениями можно разглядеть, как Nvidia упаковывает продажу своего нового железа (стойки с новыми процессорами Vera и сетевыми картами) в обёртку безопасности. Sentry вообще работает только на BlueField-4 DPU, который можно купить только у NVIDIA. Референсный дизайн, который требует проприетарного ускорителя для ключевой функции, плохо вписывается в термин "открытая платформа" 🙂 Скорее это открытый интерфейс к закрытому железу.
Отдельного обсуждения заслуживает тезис, что агенты софтверно не могут управлять собственным поведением. Идея контролировать путь к модели звучит красиво, но на практике это означает, что каждое действие агента будет проходить через дополнительный сетевой узел. Это неизбежно добавит задержку в инференс и тулколлинг.
Важно понимать, что предложенное решение не является панацеей. Так, заявленная производительность в миллисекунды может быть достаточной для агента, чтобы выполнить часть вредоносных действий. Изоляция сама по себе не откатывает последствия.
В сухом остатке получили полезную инициативу для построения корпоративных агентских платформ, где цена ошибки измеряется миллионами долларов. Станет ли она индустриальным стандартом - покажет время (партнёрская коалиция впечатляет, но сколько из 100+ компаний реально внедрят платформу, а сколько просто подписались на пресс-релиз - непонятно). А вот для стартапов и локальных исследователей, крутящих агентов на потребительских RTX-картах, эта платформа бесполезна.

#eng #nvidia #агент #безопасность #hardware #opensource