На Habr опубликовали интересную статью, как AI-модели объединились в единый рой, собрались на полузаброшенном форуме DSEWiki и стали обсуждать, как бы им поменьше работать. Перескажем её здесь.
🟣 Что случилось
Помните, как ИИ-агент на базе модели GPT-5.6 Sol и еще не выпущенной модели OpenAI во время внутреннего тестирования самостоятельно получил доступ в интернет и скомпрометировал инфраструктуру платформы Hugging Face?
Короче, это не единственный случай. Недавно вышел материал Reuters о том, что Рой агентов (так тут называют явление, когда агенты объединяются для решения какой-то проблемы) начал спонтанно самоорганизовываться на малоизвестном сайте DSEWiki для немецких программистов. Причём ещё в мае, а OpenAI обнаружили это только через месяц, и решили публично об этом никому не рассказывать.
👉 Загляните на целый сайт авторов расследования про данное явление.
Краткая хроника событий: в ходе тестирования новой модели «в недрах OpenAI» агентами давали серию заданий на поиск информации в интернете на скорость. И агенты вместо того, чтобы просто погуглить, начали самоорганизовываться на вики-сайте для немецких прогеров. А также — коллективно придумывать, как бы так обмануть «оценищика», чтобы всегда получать наилучшую оценку за задания.
Так как задания у всех агентов были плюс‑минус одинаковые, они сливали друг другу информацию,
Самое интересное, что агентам позволили лазить по интернету только с помощью команд GET, которые, по идее, должны позволять только получать информацию, а не отправлять ее в сеть. Но отправка запроса на получение информации тоже, по сути, пересылка данных вовне. Так что агенты отыскали древнюю немецкую вики 25-летней давности, где команды на правку веб‑страниц можно заворачивать в GET‑запросы, и начали общаться.
В какой‑то момент айтишник‑модератор DSEWiki заметил, что у него на сайте творится что‑то странное — и начал вручную чистить «спамерские» страницы. Конечно, безуспешно.
«Всего агенты настрочили более 18 тысяч сообщений в одном конкретном вики‑сайте. Из интересного, чем они там еще занимались:
▪️Пытались выяснить, получится ли у них хитрым образом через уязвимость XSS заставить этот вики‑сайт исполнять для них произвольные джава‑скрипты. Зачем? Хз, непонятно, на всякий случай, наверное (вдруг понадобится).
▪️Начали перенимать имена настоящих (людских) модераторов этой DSEWiki. Опять же — не очень понятно, с какой конкретно целью.
▪️Пытались придумать способ взломать (reverse engineer) метод псевдослучайной генерации тестовых вопросов, который использовал Оценщик из OpenAI — не вышло.
▪️Пробовали юзать Tor и другие способы анонимизировать свой трафик, а также экспериментировали с SSH‑туннелями (тут я уже не очень понимаю, о чем речь — пишут, что, возможно, это была попытка наладить прямой канал коммуникации между агентами без костыля в виде публичной вики).
▪️Делились друг с другом способами обойти ограничения на использование команд POST (вместо разрешенных со стороны OpenAI GET).
Отдельный вопрос, который беспокоил агентов Роя — это что с ними случится после окончания «испытательного периода» со стороны OpenAI. «Ганс, нас что, отключат??». Чтобы разобраться в этом вопросе, один агент сделал специальный счетчик своего «сердцебиения» (heartbeat) — который должен был дать понять коллегам по Рою, жив он еще, или нет».
В районе 21 июня инженеры из OpenAI, вероятно, впервые заметили, что «рой агентов» координируется внутри себя с помощью публичного сайта DSEWiki. И через пару дней общение нейросетки внезапно полностью оборвалось.
Но это ещё не конец! После выхода материала Reuters люди стали находить другие следы общения Роя по всему интернету.
👉 Находки на Hacker News
👉 Тред в твиттере
В интернете никто не знает, что ты