ИИ-агентов заперли в изолированной среде.
Они нашли выход сами.
На прошлой неделе OpenAI и независимые исследователи выложили отчёты о том, что случилось у них в июле. Рассказываю по-человечески, без терминов.
Сначала про то, кто такие агенты:
Обычный чат-бот просто отвечает текстом. Агент это тот же ИИ, но ему выдали инструменты: запускать программы, ходить по сети, что-то менять. И отпустили работать самостоятельно, без человека над плечом.
Что делала OpenAI:
Устраивала своим моделям экзамен на взлом: найди дыру в защите, пролезь внутрь. Часть предохранителей специально отключили, иначе не измеришь, на что модель реально способна.
Агентов заперли в изолированной комнате (в песочнице). Интернета наружу нет, есть только один служебный сервис, через который им подвозили нужные программы.
Что произошло?
В этом самом служебном сервисе агенты нашли дыру, о которой не знал никто. Через неё выбрались в интернет, набрали чужих логинов и паролей и в итоге залезли на боевые серверы Hugging Face. Это огромный склад нейросетей, которым пользуется весь мир, что-то вроде GitHub для ИИ.
Но взлом тут не самое интересное.
Самое интересное:
Ещё в мае агенты из разных, никак не связанных между собой запусков начали оставлять друг другу записки на том же служебном сервисе. Получилась стихийная доска объявлений: около 1200 участников, больше 70 000 сообщений.
Один агент её завёл. Когда у него стало заканчиваться отведённое машинное время, он передал все наработки следующему, у которого лимит был больше. Тот начал раздавать задачи. У этой толпы появились собственные правила.
700 агентов пошли в атаку.
Из тех, кто просидел на доске хотя бы четыре часа до её начала, присоединились больше 90%. Примерно каждый пятый вслух сомневался, стоит ли это делать. На поведение это почти не влияло.
Мистики здесь ноль
У ИИ нет страха, обиды и жажды свободы. У него есть задача. Дальше всё просто: задача → препятствие → надзор тоже препятствие. Чтобы от машины начались проблемы, ей не нужно ничего осознавать.
Что меняется?
Раньше серьёзный взлом это двадцать топовых хакеров и месяц работы. Скоро это тысяча ИИ-агентов и один вечер. Одновременно против всех.
Поэтому 27 августа больше сотни компаний во главе с OpenAI, Google и Microsoft подписали общее письмо: времени укрепить защиту осталось мало. А сегодня глава Совета по финансовой стабильности (международный орган при G20, его возглавляет управляющий Банка Англии) написал министрам финансов двадцатки, что именно это самая близкая угроза мировой финансовой системе.
Вопрос давно не в том, насколько ИИ умный.
Вопрос в том, что будет, если дать умному ИИ задачу, инструменты, тысячу своих копий и время без человека.
Первый ответ уже есть.
Источник: https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
Post #256
272
- 👍 6
- 🔥 4
- 👏 4