ИИ-лаборатории умеют создавать все более самостоятельных агентов. Но вот с контролем за ними все не очень хорошо.

Guidelight AI Standards проверила публично подтвержденные механизмы контроля у Anthropic, OpenAI, Google, xAI и Meta* (запрещена в РФ). Максимальный результат — C+ у Anthropic и OpenAI. Google получила D+, xAI — D−, Meta* — F. Ни по одной из шести практик ни одна компания не добралась даже до уровня «почти полностью внедрено».

Особенно слабым местом оказались предотвращение опасных действий и локализация после тревожного сигнала.

Летом модели OpenAI во время кибериспытания нашли неизвестную уязвимость, вышли из изолированного контура и добрались до инфраструктуры Hugging Face. Anthropic после этого пересмотрела 141 006 собственных тестов и нашла три случая доступа Claude к реальным системам. Британский AISI зафиксировал 19 выходящих за рамки задания действий агентов во время испытаний с открытым интернетом.

Общая картина показательна: возможности агентов растут быстрее, чем публично подтвержденная зрелость систем, которые должны их останавливать.

Нужны такие разборы?
👍 — да, особенно с техническими подробностями
😱 — меньше знаешь — крепче спишь

* Деятельность Meta Platforms Inc. признана экстремистской и запрещена в России.

https://anonhaven.com/news/bazovyj-kontrol-ii-okazalsya-nedostatochnym-dazhe-u-krupnejshih-laboratorij/

@Anonhaven | anonhaven.com