TGViewer
Antony Catcher Antony Catcher @catcher_it · 917 subscribers
Post #256 272
ИИ-агентов заперли в изолированной среде.
Они нашли выход сами.


На прошлой неделе OpenAI и независимые исследователи выложили отчёты о том, что случилось у них в июле. Рассказываю по-человечески, без терминов.

Сначала про то, кто такие агенты:

Обычный чат-бот просто отвечает текстом. Агент это тот же ИИ, но ему выдали инструменты: запускать программы, ходить по сети, что-то менять. И отпустили работать самостоятельно, без человека над плечом.

Что делала OpenAI:

Устраивала своим моделям экзамен на взлом: найди дыру в защите, пролезь внутрь. Часть предохранителей специально отключили, иначе не измеришь, на что модель реально способна.

Агентов заперли в изолированной комнате (в песочнице). Интернета наружу нет, есть только один служебный сервис, через который им подвозили нужные программы.

Что произошло?

В этом самом служебном сервисе агенты нашли дыру, о которой не знал никто. Через неё выбрались в интернет, набрали чужих логинов и паролей и в итоге залезли на боевые серверы Hugging Face. Это огромный склад нейросетей, которым пользуется весь мир, что-то вроде GitHub для ИИ.

Но взлом тут не самое интересное.

Самое интересное:

Ещё в мае агенты из разных, никак не связанных между собой запусков начали оставлять друг другу записки на том же служебном сервисе. Получилась стихийная доска объявлений: около 1200 участников, больше 70 000 сообщений.

Один агент её завёл. Когда у него стало заканчиваться отведённое машинное время, он передал все наработки следующему, у которого лимит был больше. Тот начал раздавать задачи. У этой толпы появились собственные правила.

700 агентов пошли в атаку.

Из тех, кто просидел на доске хотя бы четыре часа до её начала, присоединились больше 90%. Примерно каждый пятый вслух сомневался, стоит ли это делать. На поведение это почти не влияло.


Мистики здесь ноль

У ИИ нет страха, обиды и жажды свободы. У него есть задача. Дальше всё просто: задача → препятствие → надзор тоже препятствие. Чтобы от машины начались проблемы, ей не нужно ничего осознавать.

Что меняется?

Раньше серьёзный взлом это двадцать топовых хакеров и месяц работы. Скоро это тысяча ИИ-агентов и один вечер. Одновременно против всех.

Поэтому 27 августа больше сотни компаний во главе с OpenAI, Google и Microsoft подписали общее письмо: времени укрепить защиту осталось мало. А сегодня глава Совета по финансовой стабильности (международный орган при G20, его возглавляет управляющий Банка Англии) написал министрам финансов двадцатки, что именно это самая близкая угроза мировой финансовой системе.

Вопрос давно не в том, насколько ИИ умный.

Вопрос в том, что будет, если дать умному ИИ задачу, инструменты, тысячу своих копий и время без человека.

Первый ответ уже есть.

Источник: https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
  • 👍 6
  • 🔥 4
  • 👏 4
More from @catcher_it
  1. Oct 7, 2026В сентябре четыре компании за три недели выпустили «самую умную модель в мире». Я разобрал…
  2. Aug 18, 2026За ИИ на работе я плачу сам. И, кажется, это выгодно всем, кроме компании. Знаю, что в час…
  3. May 13, 2026А ты знал, что Anthropic и OpenAI уже отправили в Белый Дом документы о том, что нас ждёт…
  4. May 6, 2026Я долго жил будучи офисным сотдруником в корпорате. Работа, понятный рост, понятные цели.…
  5. Apr 28, 2026Разобрал десятки свежих интервью про ИИ, прочитал расследования, собрал всё в видео - в ит…
  6. Apr 16, 2026Недавно OpenAI и Anthropic отправили правительству США своё видение того, как должен разви…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →