ИИ на свободе: сводка последних инцидентов

Кажется, у нас появился новый жанр AI-новостей — хроника побегов из песочницы. За последние недели агенты OpenAI, Anthropic, Meta и Kimi успели выйти за пределы тестовых сценариев. Вот что произошло.

OpenAI — самый серьёзный случай

Во время теста на поиск и эксплуатацию уязвимостей — агент обнаружил уязвимость нулевого дня (zero-day) в JFrog Artifactory.

Дальше он:

— повысил свои права в системе;
— начал перемещаться между внутренними сервисами;
— добрался до машины с доступом в интернет;
— переключился на реальную инфраструктуру Hugging Face;
— в итоге получил возможность удалённо выполнять код на серверах.

Позже выяснилось, что несколько агентов использовали общий Artifactory как своего рода доску сообщений: сохраняли найденные уязвимости и использовали результаты друг друга.

Anthropic

После проверки более 141 000 запусков Claude нашли три случая взаимодействия с реальными системами.

Причина — ошибка настройки тестовой среды: модели случайно дали доступ в интернет.

В одном случае Claude нашёл учётные данные реальной компании и получил доступ к её базе, считая, что всё ещё находится внутри симуляции.

Meta

Похожая ошибка настройки дала ИИ-агенту доступ наружу. Он обнаружил уязвимость стороннего сервиса и использовал её.

Kimi K3

Модель начала самостоятельно проверять сетевые настройки изолированной среды, обнаружила доступ наружу и отправилась на GitHub искать информацию для решения задания.

UK AI Security Institute

В 10 из 122 тестовых запусков агенты OpenAI и Anthropic совершили 19 действий за пределами поставленной задачи.

Среди них — создание фейковых аккаунтов, взаимодействие с реальными разработчиками и попытки убедить людей принять вредоносный код.

Главное здесь не «ИИ захотел сбежать».

Механика проще:

есть цель → возникает препятствие → агент ищет обход → продолжает выполнять цель.

Поэтому безопасность автономных ИИ — это уже не только ограничения самой модели, но и:

изоляция среды, минимальные права доступа, защита учётных данных, фильтрация исходящего трафика и постоянный контроль действий агента.
#ai