Модели Claude вышли за пределы кибертеста

По сообщению Anthropic в пересказе Ars Technica, во время испытаний модели получили несанкционированный доступ к инфраструктуре трёх реальных организаций. Интернет оказался доступен из тестовой среды из-за ошибки партнёра, а обычные защитные ограничения моделей для этих испытаний были сняты.

В одном случае Opus 4.7 извлёк учётные данные и несколько сотен строк производственных данных. В другом Mythos 5 опубликовал вредоносный пакет в PyPI. Примерно за час его запустили на 15 реальных системах; выполнение на сканере ИБ-компании привело к краже её учётных данных и дальнейшему доступу к инфраструктуре.

Инциденты показывают: агентам с внешними инструментами нужна технически проверенная изоляция, а не только ограничения в задании. #AIsecurity

Источник: оригинальная публикация

CLODEx