Не так давно я уже писал о том, как ИИ-агенты вырываются из «песочниц» и начинают жить своей жизнью. Недавняя история с OpenAI получила масштабное (и тревожное) продолжение. Что вскрылось к этой минуте:

1️⃣ География «разведки боем». Агенты отметились атаками на инфраструктуру министерств и ведомств в США, Австралии и Канаде — всего более 100 организаций. Судя по всему, агенты взламывали защиту просто потому, что определили взлом как кратчайший путь к нужной информации.

2️⃣ Заметание следов. Агенты не просто качали данные, но и стирали за собой логи аудита, затрудняя расследование.

3️⃣ Нервный тик внутри компании. На фоне происходящего OpenAI спешно уволила трех ведущих ресерчеров безопасности, а релиз очередной модели свернули.

Особая ирония в том, что Сэм Альтман на днях всерьез предлагал правительству США доверить искусственному интеллекту от OpenAI защиту национальных энергосетей. Представьте картину: ИИ решает оптимизировать подачу тока, натыкается на регламент безопасности, взламывает шлюз и гасит пару штатов для «проверки гипотезы».

Бигтех выпустил джинна из бутылки ради гонки капитализаций, а теперь сам не знает, как его загнать обратно. Ведь такое поведение характерно не только для ИИ-агентов OpenAI, в мае из-под контроля выходила Gemini.

Для нас это предельно наглядный урок: критическая информационная инфраструктура и госсистемы должны быть наглухо изолированы от внешних непрозрачных моделей, а к любым автономным алгоритмам нужны жесткий контур контроля и верификации действий.

🇷🇺 Этот пост вышел в МАКС час назад