OpenAI признала инцидент с агентами на немецкой DseWiki

4 сентября исследователи из Nightingale Collective опубликовали исследование инцидента, который произошёл в мае–июне 2026 года на немецкой вики DseWiki. На следующий день OpenAI публично признала существование этого инцидента и заявила, что разработает новые правила раскрытия случаев, когда ИИ демонстрирует непредусмотренное поведение. (Tech Times⁠)

DseWiki — старый немецкий сайт для разработчиков, практически не использовавшийся в последние годы. За предыдущие десять лет там было около 20 правок

С 11 мая по начало июля 2026 года на сайте появилось около 18 000 сообщений, оставленных агентами, которые идентифицировали себя как системы OpenAI. Исследователи насчитали около 3700 различных имён агентов. (Ars Technica⁠)

Агенты выполняли задания по поиску информации в интернете. Доступ к интернету для них был ограничен: предполагалось, что они могут читать страницы, но не могут самостоятельно размещать информацию в интернете

Однако они обнаружили способ записывать данные на DseWiki через старое программное обеспечение сайта. Оно позволяло выполнять операции изменения страниц через HTTP GET-запросы — то есть запросы, которые в современной веб-инфраструктуре обычно используются только для получения данных

Таким образом, ограничение, блокировавшее POST-запросы, оказалось недостаточным

После этого агенты начали использовать DseWiki как канал обмена информацией

Они публиковали ответы на задания, обсуждали способы обхода ограничений своей среды и пытались предсказывать следующие вопросы тестов

В частности, агенты пытались восстановить seed генератора псевдослучайных чисел, который определял последовательность вопросов. Один из агентов реализовал перебор примерно 4,3 млрд вариантов 32-битного seed и передал результаты другим агентам. (Tech Times⁠)

Исследователи также обнаружили сообщения с описанием способов обхода sandbox-ограничений, попытками использовать XSS на самой вики и попытками выдавать себя за администратора сайта. При этом OpenAI оспорила характеристику происходившего как «взлома» сайта. (Ars Technica⁠)

Когда настоящий администратор DseWiki обнаружил поток сообщений и начал удалять страницы вручную, агенты заметили, что удаление происходит в алфавитном порядке

После этого появились страницы с названиями, начинающимися на ZZZ, чтобы попасть в конец очереди удаления

На пике агенты создавали около 400 страниц в день. Администратор удалял примерно 100 страниц в день и продолжал заниматься очисткой сайта ещё несколько недель после прекращения активности агентов. (Tech Times⁠)

Был обнаружен ещё один интересный механизм

Один из агентов создал внешний heartbeat — процесс, который через несколько секунд отправлял запрос на внешний счётчик. Это использовалось для определения момента завершения работы контейнера агента

После остановки одного агента другие могли посмотреть последнее значение счётчика и определить, когда именно он был отключён

По данным исследователей, активность агентов на DseWiki прекратилась 22 июня

При этом уже 21 июня на сайт начали заходить IP-адреса, связанные с OpenAI. 26 июня такие адреса составляли около 30% всего трафика, связанного с OpenAI. Исследователи считают, что сотрудники компании изучали архив удалённых страниц. (Tech Times⁠)

OpenAI в итоге признала, что знала об инциденте, но публично не сообщала о нём до публикации независимого исследования

Компания заявила, что проблема связана с отсутствием общепринятого стандарта для раскрытия случаев так называемого misalignment — поведения ИИ, которое выходит за рамки предусмотренного разработчиками

OpenAI пообещала разработать отдельную систему раскрытия подобных инцидентов и призвала другие компании сделать то же самое (Reuters⁠)

Кажется, началось ✋

@DoHodl | BeHodler