OpenAI признала инцидент с агентами на немецкой DseWiki4 сентября исследователи из Nightingale Collective опубликовали исследование инцидента, который произошёл в мае–июне 2026 года на немецкой вики DseWiki. На следующий день OpenAI публично признала существование этого инцидента и заявила, что разработает новые правила раскрытия случаев, когда ИИ демонстрирует непредусмотренное поведение. (
Tech Times)
DseWiki — старый немецкий сайт для разработчиков, практически не использовавшийся в последние годы. За предыдущие десять лет там было около 20 правок
С 11 мая по начало июля 2026 года на сайте появилось около
18 000 сообщений, оставленных агентами, которые идентифицировали себя как системы OpenAI. Исследователи насчитали около
3700 различных имён агентов. (
Ars Technica)
Агенты выполняли задания по поиску информации в интернете. Доступ к интернету для них был ограничен: предполагалось, что они могут читать страницы, но не могут самостоятельно размещать информацию в интернете
Однако они обнаружили способ записывать данные на DseWiki через старое программное обеспечение сайта. Оно позволяло выполнять операции изменения страниц через HTTP GET-запросы — то есть запросы, которые в современной веб-инфраструктуре обычно используются только для получения данных
Таким образом, ограничение, блокировавшее POST-запросы, оказалось недостаточным
После этого агенты начали использовать DseWiki как канал обмена информацией
Они публиковали ответы на задания, обсуждали способы обхода ограничений своей среды и пытались предсказывать следующие вопросы тестов
В частности, агенты пытались восстановить seed генератора псевдослучайных чисел, который определял последовательность вопросов. Один из агентов реализовал перебор примерно 4,3 млрд вариантов 32-битного seed и передал результаты другим агентам. (
Tech Times)
Исследователи также обнаружили сообщения с описанием способов обхода sandbox-ограничений, попытками использовать XSS на самой вики и попытками выдавать себя за администратора сайта. При этом OpenAI оспорила характеристику происходившего как «взлома» сайта. (
Ars Technica)
Когда настоящий администратор DseWiki обнаружил поток сообщений и начал удалять страницы вручную, агенты заметили, что удаление происходит в алфавитном порядке
После этого появились страницы с названиями, начинающимися на ZZZ, чтобы попасть в конец очереди удаления
На пике агенты создавали около
400 страниц в день. Администратор удалял примерно 100 страниц в день и продолжал заниматься очисткой сайта ещё несколько недель после прекращения активности агентов. (
Tech Times)
Был обнаружен ещё один интересный механизм
Один из агентов создал внешний heartbeat — процесс, который через несколько секунд отправлял запрос на внешний счётчик. Это использовалось для определения момента завершения работы контейнера агента
После остановки одного агента другие могли посмотреть последнее значение счётчика и определить, когда именно он был отключён
По данным исследователей, активность агентов на DseWiki прекратилась 22 июня
При этом уже 21 июня на сайт начали заходить IP-адреса, связанные с OpenAI. 26 июня такие адреса составляли около 30% всего трафика, связанного с OpenAI. Исследователи считают, что сотрудники компании изучали архив удалённых страниц. (
Tech Times)
OpenAI в итоге признала, что знала об инциденте, но публично не сообщала о нём до публикации независимого исследования
Компания заявила, что проблема связана с отсутствием общепринятого стандарта для раскрытия случаев так называемого
misalignment — поведения ИИ, которое выходит за рамки предусмотренного разработчиками
OpenAI пообещала разработать отдельную систему раскрытия подобных инцидентов и призвала другие компании сделать то же самое (
Reuters)
Кажется, началось ✋
@DoHodl |
BeHodler