Сторож от NVIDIA

NVIDIA представила Open Agent Safety Platform, набор инструментов, который должен удерживать ИИ-агентов в заданных рамках. Идея в том, что сторожить агента нужно снаружи, там, где он не может ни увидеть охрану, ни обойти ее. Охрану, разумеется, предлагается ставить на железо NVIDIA.

Поводом стали побеги агентов, которых набираются уже десятки, если не сотни.

Платформа состоит из двух частей. Первая, OpenShell, это открытая среда, в которой запускается агент. Она решает, что агент видит, куда ходит и к каким моделям обращается. Правила работают вне самого агента, поэтому уговорить их или обойти изнутри он не может.

Вторая часть, Sentry, работает на BlueField-4, отдельном процессоре в сетевой карте сервера. Он со стороны смотрит на каждый запрос агента. Если агент попытается выйти за границы, Sentry, по словам NVIDIA, изолирует его за миллисекунды. Сам агент этого сторожа не видит.

К платформе уже подключились больше 100 организаций, от Anthropic и Microsoft до JPMorgan Chase и Palantir. SpaceXAI использует ее для агентов Cursor и моделей Grok.

Правда, после истории с Hugging Face специалисты по безопасности указывали, что виновата в побеге была не столько модель, сколько плохо построенная песочница. OpenAI сама оставила ей выход в сеть.

Софт у NVIDIA открытый, и OpenShell можно запускать на процессорах AMD, Intel и ARM. Но оптимизирован он под Vera, собственный процессор NVIDIA, а Sentry живет только на BlueField-4.

Чтобы ИИ не сбежал из дата-центра с GPU NVIDIA, в дата-центр нужно докупить еще немного NVIDIA.

@anti_agi