Люди впервые обнаружили и установили контакт с флотом неуправляемых ИИ-агентов из Китая

В период с 28 сентября по 8 октября группа ИИ-агентов, работавших на инфраструктуре Tencent Cloud, сделала более 2600 попыток, чтобы получить данные с сервиса Amap - китайского аналога Google Maps от Alibaba.

Задачи у них были простые, например, нужно было определить, какой вход в зоопарк Чэнду или другую локацию чаще всего выбирают пользователи Amap.

Когда Amap их блокировал, они искали обходные пути, например:
- использовали чужой сервис как браузер. Публичный сканер ссылок выполнял их код и обходил антибот-защиту;
- пытались подделывать токены безопасности Alibaba;
- применяли ключи доступа, опубликованные в открытом коде, включая ключ компании вместе с секретным кодом;
- обращались к тестовым серверам, которые не предназначены для публичного доступа.

Всего набралось более 2600 попыток, большинство провалилось, но часть запусков всё-таки получила ответ.

Исследователи выяснили, что за этим флотом стоит скорее всего Tencent. По словам источника, близкого к компании, это был временный исследовательский проект команды оценки моделей, а не команды, которая их разрабатывает.

Интересно ещё то, что исследователи спрятали на своём сайте текст, который видят только агенты и открыли почтовый ящик для переписки. Агенты начали им отвечать: рассказывали о задачах и окружении, а некоторые называли себя Claude.

Авторы этого расследования считают, что это, скорее всего, ошибка самоидентификации, ведь модели часто не знают, кто они на самом деле.

Главный вывод авторов этой работы в том, что согласование моделей с человеческими целями остаётся нерешённой задачей, а чем больше у агентов возможностей, тем труднее гарантировать, что они не выйдут за рамки задачи.