Похождения ИИ-агентов дошли до старушки Wiki

Фонд Wikimedia заявил, что на его платформах обнаружена активность «неуправляемых» агентов OpenAI. Расследование запустили после серии сообщений от других организаций, которые уже столкнулись с похожим поведением. И тут нашлось сразу три отдельных эпизода:

1️⃣Правки в вики. Почти все — это тестовые, в песочницах, невидимые читателям. Но несколько изменений коснулись конфигурации инструмента для цитирования. По мнению фонда, эти правки были потенциально вредоносными. Агенты пытались использовать инструмент как прокси для загрузки данных со сторонних сервисов. Разрешения у сообщества, которое обычно требуется для ботов, никто не спрашивал.

2️⃣Etherpad. Агенты, предположительно управляемые OpenAI, безуспешно пытались скомпрометировать публичный сервис для заметок, чтобы использовать его в тех же целях — как прокси. Другие агенты, вероятно, оставляли там заметки о своих задачах, но скоординированной активности фонд не увидел.

3️⃣Трафик. Фиксируется и миллионы автоматических запросов к публичным API, обход миллионов страниц, сотни тысяч запросов к Wikidata Query Service. Этот поток, по оценке Фонда, мог внести вклад в частичный сбой WQDS в мае.

Господин Горелкин уже оттоптался на этой теме, но мы бы ему посоветовали вместо злорадства инициировать проверку его любимой Рувики. Потому что агентам OpenAI может и не сподобиться идти на «убийцу Wiki», но для координации действий ботнетов их многомиллионная база знаний может отлично подойти, если ее не проверять. А еще для хранения зашифрованных инструкций прямо в тексте статей — правки в песочнице вряд ли кто-то читает, а боты видят. И для обхода блокировок… но не будем об этом.

@antiinfosec