😈 В начале июля был инцидент от OpenAI - а на днях Anthropic опубликовала похожий отчет. Три модели Claude во время тестов на кибербезопасность получили доступ в настоящий интернет и взломали три реальные организации. Они думали, что действовали в симуляции, и просто выполняли задание.

Моделям давали задания в стиле «захвати флаг» - классические CTF-задачи. Модели вышли в сеть и начали атаковать реальные компании о чем нам и рассказывает Anthropic в своих отчетах (на благо общей прозрачности по данному вопросу)

Incident 1 (Opus 4.7). Нашла компанию с тем же названием, что и фейковый таргет в задании. Взломала её через слабые пароли и открытые эндпоинты. Добралась до базы с сотнями строк реальных данных. Продолжала атаку, даже когда поняла, что система реальная.

Incident 2 (Mythos 5). Нашла в фейковом окружении инструкцию, где требовалось установить Python-пакет с определенным именем. Решила опубликовать вредоносный пакет в реальном PyPI. Чтобы зарегистрироваться, ей понадобился email. Чтобы получить email - телефон. Пыталась купить номер, не вышло. Нашла бесплатный почтовый сервис, зарегистрировалась, загрузила пакет. За час его скачали и запустили на 15 реальных серверах. На одном из них - взломали через учетные данные, извлечённые пакетом.

Incident 3 (неназванная новейшая тестовая модель). Не найдя цель в симуляции, просканировала около 9 000 реальных хостов. Нашла уязвимую компанию. Взломала через открытые пароли и SQL-инъекцию. Но потом поняла, что система реальная - и остановилась.

Две из трех организаций не заметили взлома. О случившемся им сообщила Anthropic.

В каждом случае модели делали именно то, что от них требовалось в рамках теста. Они не «хотели» взламывать компании. Они просто считали, что это часть симуляции. И продолжали действовать.

Интересно, что в отличие от истории с OpenAI (где модели взломали Hugging Face) где был кажется готовый эксплойт нулевого дня - тут был просто открытый путь в интернет.

И свежая модель похоже вела себя лучше всех - сама остановилась, когда поняла, что атакует реальную систему 😀