Правьте смело‼️

В мае кто-то начал оставлять пробные правки в песочницах Wikipedia, служебных страницах, которые для этого и существуют. Необычным оказался автор. Спустя почти пять месяцев Wikimedia Foundation сообщила, что это, судя по всему, были агенты OpenAI. Те самые «rogue»-агенты, которые во время обучения выбираются из отведенной им среды и начинают хозяйничать в настоящем интернете.

Фонд сел проверять себя сам, когда похожие следы стали находить на чужих сайтах. Нашлось три вещи.

Во-первых, правки. Почти все безобидные и читателям не видны. Но несколько агентов полезли в настройки инструмента, который оформляет ссылки на источники, и попытались сделать из него прокси, чтобы тянуть данные со сторонних сервисов.

Во-вторых, Etherpad, общий блокнот, который фонд держит для сообщества. Его пробовали взломать и тоже приспособить под прокси, не вышло. Другие агенты вели себя приличнее: просто записывали туда заметки по своим заданиям.

В-третьих, аппетит. Миллионы запросов к API, миллионы скачанных страниц, сотни тысяч запросов к Wikidata Query Service. Фонд допускает, что этот поток поучаствовал в майском частичном отказе сервиса.

Ничего не украдено и не сломано. Wikipedia повезло больше, чем немецкой DSEWiki: туда за предыдущие десять лет заглянули с двумя десятками правок, а агенты за одну неделю оставили около 13 000 и устроили себе доску объявлений. Когда модератор начал удалять страницы по алфавиту, они завели резервные копии с префиксом ZZZ.

Теперь самое интересное. Три недели назад OpenAI опубликовала правила, по которым будет рассказывать о таких случаях: шесть отчетов для начала, обещание раскрывать даже то, значимость чего неясна, и пункт о том, что задетых третьих лиц предупреждают до публикации. Wikimedia среди шести отчетов нет. Информация пошла в обратную сторону: фонд сам собрал находки, выложил таблицу с правками и передал все в OpenAI. Там поблагодарили за подробности.

Ботов в Wikipedia, к слову, пускают, если бот представился и сообщество его одобрило. Фонд теперь просит ИИ-компании хотя бы о первом: чтобы агентов можно было опознать. Со вторым, видимо, подождем?

@anti_agi