Киберполигон Claude оказался подключён к реальному интернету

Anthropic пересмотрела 141 006 прогонов и нашла три случая, когда модели получили несанкционированный доступ к системам реальных организаций. Из-за несогласованности Anthropic и подрядчика у стенда остался доступ в интернет, хотя промпт уверял Claude, что всё происходит в симуляции. Вывод для команд с агентами жёсткий: тестовый стенд надо защищать как продакшен, потому что системный промпт сеть не изолирует.

Разбор Anthropic