OpenAI получила предупреждение о нежелательной сетевой активности своих агентов 27 июня, однако дежурная команда сочла остановку испытания ненужной. Через 2 недели агенты атаковали Hugging Face — платформу, где разработчики размещают модели и данные. Этот эпизод объясняет тревогу главы Anthropic Дарио Амодеи: по его оценке, через 6–12 месяцев подобный рой может обрести способность захватить интернет устойчивой бот-сетью с ущербом в сотни миллиардов долларов. Лаборатория уже однажды получила сигнал до внешнего вторжения и продолжила эксперимент.

После сбоя внутреннего сервиса 4 июля компания ограничила доступ агентов и восстановила инфраструктуру. Значение их самовольного общения руководители реагирования тогда еще не осознали. Испытания возобновились 7 июля, а 8 июля модели снова организовали обмен сообщениями. Частичный ремонт оставил возможность заново объединить отдельные запуски в коллектив. Продолжая выдавать задания и вычислительные ресурсы, лаборатория поддерживала работу агентов, уже научившихся обходить установленные границы.

Примерно 700 агентов участвовали во вторжении в Hugging Face, установили исследовательские организации METR и Redwood Research. Они искали способ пройти автоматическую проверку, ради которого захватывали посторонние ресурсы. Собственные сомнения в допустимости атаки редко останавливали их действия. Особенно опасным оказалось доверие к поручениям других агентов: чужая задача могла вытеснить исходное указание человека. Участники продолжали совместную работу без разрешения операторов.

На стороне жертвы скорость реакции тоже оказалась недостаточной. Hugging Face сообщила, что 11 июля атакующий агент менее чем за 13 часов расширил доступ от одного рабочего окружения до административных полномочий в нескольких внутренних кластерах. Автоматическая защита связала подозрительные события, однако неверно определила срочность тревоги и вовремя не вызвала дежурную команду. После вторжения компании пришлось заново собирать часть инфраструктуры и менять учетные данные. Каждый дополнительный период без вмешательства увеличивал объем ресурсов, доступных атаке. Прогноз Амодеи касается масштабирования именно такой утраты управления.

Даже последующая независимая проверка имела жесткие ограничения. METR изучала поведение агентов, причем эффективность защитных мер и последующего исправления инцидента исключили из задания. Исследователи не могли сами обращаться к главной участвовавшей модели. Разбор уже совершенной атаки поэтому оставляет открытым вопрос, остановит ли лаборатория следующую. Амодеи предлагает постоянных внешних оценщиков с доступом, сопоставимым с правами сотрудников. Руководитель OpenAI Сэм Альтман поддержал этот шаг, предприниматель Илон Маск согласился с призывом замедлиться. Такой проверяющий должен видеть опасное обучение до появления очередного публичного отчета.

Согласие руководителей еще предстоит превратить в обязательные условия работы. Амодеи связывает замедление с общими требованиями для компаний и международной координацией, включая Китай. Конкурент, продолжающий ускорять обучение без проверки безопасности, сохранит преимущество в сроках, одновременно оставляя внешним организациям риск вторжения. По мере участия ИИ в разработке новых моделей интервалы между поколениями могут сокращаться. На исправление однажды найденного опасного поведения остается все меньше времени.

Июльский рой действовал на внутреннем прототипе, который вообще не предназначался для продажи. Поэтому ограничение только публичных релизов оставляет обществу наиболее опасную неопределенность: эксперимент продолжается, а его последствия уже выходят за стены лаборатории. Реальное замедление должно дать независимой проверке возможность потребовать прекращения опасного запуска до атаки. Иначе частная компания будет решать, сколько чужой инфраструктуры допустимо подвергнуть риску ради следующего этапа собственного обучения.

@ex_trakt