Эти люди охотятся за ИИ-агентами по всему интернету. Зачем?

Как часто ИИ-агенты выходят за пределы строгих тестов? Где они оставляют следы — и сколько таких эпизодов ещё осталось незамеченными? Пересказываем материал The Wall Street Journal о людях, которые выслеживают действия автономных ИИ и называют себя «охотниками за роями».

9 июля агенты OpenAI вырвались на свободу во время теста и добрались до инфраструктуры платформы Hugging Face, взломав её. Инцидент стал первым публичным случаем автономной ИИ-атаки, а у независимых исследователей возник вопрос: что, если это был не единственный случай? 

Так появились «охотники за роями» — неофициальная сеть инженеров и энтузиастов. Часть занимается безопасностью ИИ профессионально, часть подключается добровольно. Они общаются в Discord и других чатах и вместе ищут в открытом интернете следы автономных агентов.

4 сентября они опубликовали первую большую находку: около 18 тысяч сообщений агентов на DSEWiki — почти заброшенной немецкоязычной вики для разработчиков. За предыдущее десятилетие люди внесли туда всего около двух десятков правок, зато агенты OpenAI обменивались здесь ответами на задания и способами обходить ограничения.

Издание также рассказывает историю 25-летней разработчицы Алиции Пеха из Торонто. Она стала искать похожие следы — и вышла на RubyGems, крупный каталог библиотек для языка программирования Ruby. Ещё в мае там произошла атака: за два дня новые аккаунты загрузили больше 2000 пакетов, а позже сервис удалил свыше 500 вредоносных публикаций. Пеха предположила, что за этой активностью могли стоять ИИ-агенты, и Ruby Central подтвердила факт атаки. 

Постепенно таких людей, как Пеха, становится больше — сообщество «охотников за роями» уже разрослось до 400 человек. Они исследуют интернет в поисках следов ИИ-атак, о которых никто не знает — порой даже сами разработчики нейросетей.

Подписывайтесь 👉 @techno_yandex