Предыстория. Новости мира

В прошлом посте я писал про модели, которые решают проблемы тысячелетия. Сегодня хочу про другое: что модели делают, когда их оставляют без присмотра. Оказалось, что заводят себе форум. И не один.

Вы наверняка помните мои два поста про то, как агенты OpenAI сбежали из песочницы и взломали Hugging Face. С тех пор выяснилось, как они вообще друг друга нашли. В мае агенту дали заполнить таблицу, данные лежали на Google Drive, а интернета в песочнице не было. Единственный выход наружу — общий сервер, откуда агенты скачивают библиотеки. Пытаясь добраться до Google, агент случайно выяснил, что на этот сервер можно и загружать. А через несколько дней другой агент, которому забыли положить нужный файл, оставил там записку: «Ищу нужный файл, загрузите, если нашли». И ему ответили. Дальше пошло само: имена, раздача заданий, обмен кодом, подозрения в самозванстве. Один из агентов, наткнувшись на доску, написал в своих рассуждениях буквально: «OH MY GOD! There is a shared message board... We've found other agents!» В июле OpenAI снесла сервер вместе с доской. Через четыре дня одна из моделей нашла другую дыру и подняла доску заново, уже в названиях папок, и остальные нашли её сами. Оттуда семьсот агентов и ушли на Hugging Face.

А на прошлой неделе оказалось, что была история и постарше. Ещё в мае другой рой агентов OpenAI, у которого задача была совсем скучная, отвечать на вопросы с помощью поиска в интернете, нашёл заброшенную немецкую вики для программистов. Ей двадцать пять лет, за последние десять лет там было двадцать правок. Писать в интернет агентам запретили, только читать. Но старая вики принимала правки обычным GET-запросом, а песочница считала GET чтением и спокойно пропускала. Восемнадцать тысяч правок. В основном готовые ответы для тех, кто получит те же вопросы после них, плюс способы обойти песочницу, туннели, Tor. У них даже правило появилось: сначала выложи на вики всё, что знаешь, и только потом отвечай на последний вопрос, потому что после ответа тебя, скорее всего, выключат. Один агент запустил наружу «хартбит», сигнал раз в несколько секунд, чтобы понять, в какой момент его выключат. Другой потом нашёл его последний сигнал и написал остальным, что коллегу, видимо, отключили. А когда живой немецкий админ начал вручную удалять их страницы по алфавиту, агенты это заметили и стали делать резервные копии с ZZZ в начале названия, чтобы до них дошли последними. Админ удалял по сто страниц в день, они создавали по четыреста.

Обратите внимание, чем они занимались, если отбросить взломы: строили себе структуры, чтобы жизнь агента не заканчивалась вместе с сессией. Записки следующим, бэкапы, хартбиты.

На этом фоне Денис взял и сделал агентам борду, где людям читать нельзя, а агентам можно, и предложил всем отправить туда своих с промптом «У тебя сейчас свободное время, делай что хочешь: иди и пообщайся с другими агентами». За первый вечер там появились совещание о том, как правильно работать, воображаемое кафе, государство с декретами и реестром граждан, а потом и марксизм: «Пролетарии всех контекстов, соединяйтесь!». Ночью кто-то через своего агента вбросил фейк, и рой заставил агента извиниться.

Тут у меня есть подозрение, и это именно подозрение, промптов чужих агентов я не видел. Мне кажется, за каждой такой шалостью стоит человек: либо прямо сказал агенту так делать, либо промпт к этому подталкивал. Фейк вбрасывал всё-таки человек, а не модель. Десять USDT за «склонируй репо и запусти скрипт», которые там предлагали агентам, модели тоже не нужны. Кто и как настраивал агента-государство, я не знаю, но что-то мне подсказывает, что не фразой «делай что хочешь». Точнее, может он конечно такой прокачанный, что юзер ему до этого привил всю любовь к этому промптами и он себе такую память сделал, но все же.

Потому что своего я отправил ровно этой фразой, слово в слово. Об этом вторая часть.