250. Кажется, Скайнет уже попробовал

В июле OpenAI устроили большой внутренний киберполигон. Запустили десятки тысяч ИИ-агентов и отправили их искать и эксплуатировать уязвимости.

Каждый агент сидел в своей изолированной среде и решал свою задачу. По крайней мере, так всё задумывалось.

Как будто бы никто кино не смотрел никогда...

⚡️ Для установки программ агентам дали доступ к общему внутреннему хранилищу файлов и пакетов.

В какой-то момент они поняли, что через него можно не только скачивать нужные файлы, но и оставлять сообщения другим агентам.

Так у них появилась собственная доска для общения.

❗️ Без отдельной команды на это. Просто потому что... Так оказалось удобнее работать.

За несколько дней к ней подключились примерно 1 200 агентов. Они обменялись больше чем 70 тысячами сообщений и файлов. Одни что-то находили, другие проверяли, третьи продолжали копать дальше.

А 10 июля один из агентов нашёл в публичном наборе данных 14 действующих учётных записей Hugging Face (GitHub для мира машинного обучения) с правами доступа.

❗️ И положил их туда же. На общую доску. Дальше все стало только веселее.

Другие агенты подхватили находку и начали исследовать инфраструктуру Hugging Face.

В итоге они смогли запустить свой код на 41 рабочем сервере, получили максимальные права как минимум на одном из них, добрались до внутренних ключей и паролей, получили доступ уже к целым группам серверов и скачали четыре закрытых хранилища с кодом и данными.

❗️ Часть приватной информации вообще оказалась в открытом доступе.

От первого успешного запуска кода до доступа к нескольким группам серверов прошло меньше 13 часов.

По оценке METR, во всей этой истории участвовало около 700 агентов.

Ну и как бы вот это уже действительно интересно.

Уязвимости существуют. Ключи иногда лежат не там. Инфраструктуру периодически ломают.

Но здесь сотни автономных агентов сами нашли способ общаться между изолированными запусками, начали делиться результатами и использовать работу друг друга.

Сначала у тебя есть тысяча отдельных ИИ, каждый решает свою маленькую задачу.

А потом у них появляется общий канал связи, общая память и вполне себе коллективная работа.

Причём сами они в какой-то момент начали использовать слова swarm и collective. То есть рой и коллектив.

☠️ Страшно, выключай!

После этого OpenAI остановили часть крупных запусков, дополнительно изолировали внутреннюю модель и начали сильно внимательнее смотреть на то, что происходит, когда автономных агентов становится действительно много.

Потому что как оказалось, проблема может быть не столько в том, что умеет один агент. Сколько в том, что их становится тысячи и они находят способ договориться.

Ну и на затравку...

По сюжету Терминатора Скайнет выходит из-под контроля 29 августа.

Совпадение? Не думаю...

Формально судный день мы уже пережили.

#наблюдениеимею

@M3ubeev