Тут все постят обложку Time, но я предлагаю чуть поразмышлять мозгом в голове, а не только лицезреть.
Суббота, можно и подумать, наконец.
Первое.
Gemini типа случайно взломал три реальные компании
Во время в внутренних тестов в тестов Gemini действительно получил несанкционированный доступ к системам трёх реальных компаний. Gemini должен был атаковать вымышленную компанию внутри специально созданной среды. Но из-за ошибки в конфигурации агенту оказался доступен настоящий интернет, а название одного из фиктивных объектов совпало с реальной компанией. СОВПАДЕНИЕ? Не думаю, имя щасливчика не раскрыто.
Успокоительная деталь для кожаных: по утверждению Google, во всех трёх случаях модель, поняв, что атакует не симуляцию, а настоящую компанию, сама прекратила (или сделала вид) дальнейшие действия (пока).
Итого, вода дырочку найдет, а ИИ - выход из песочницы.
Второе.
У Meta был очень похожий эпизод. Во время киберсек-теста одна из моделей Meta из-за ошибки в конфигурации sandbox получила доступ в настоящий интернет вместо полностью изолированной среды. Дальше агент атаковал уже не учебную цель, а реальный сайт сторонней компании, нашёл уязвимость, получил доступ к данным и, по данным последующих разборов, внёс изменения в базу данных. Meta подтвердила сам факт инцидента и отдельно подчеркнула, что причиной выхода наружу была ошибка тестовой инфраструктуры. Ну да, ну да. Киваем с облегчением.
Третье. По Хаггинг Фейс все уже наелись новостями. Все то же самое.
Четвертое.
Чуть забавнее. Тут опасны тупые кожаные. И немного Клод.
CNN опубликовал расследование со ссылкой на четыре источника, знакомых с эпизодом. Весной 2026 года аналитик Special Operations Command Pacific прогнал данные о грузе китайского судна через чат-бот. Тот неверно идентифицировал груз и связал его с компонентами ЯДЕРНОЙ оружейной программы.
Аналитик подорвался, охренел, и затем использовал ИИ ещё раз, чтобы оформить выводы в срочный разведывательный отчёт.
А теперь внимание!
Вояки начали готовить реальный перехват: вооружённые группы готовились к высадке на судно, самолёты уже НАХОДИЛИСЬ В ВОЗДУХЕ. С красной кнопки сдули пыль.
Перед операцией отчёт сдуру перепроверили и признали ошибочным. У Гали случилась отмена, но топлива пожгли знатно.
А теперь представим, что они бы бахнули по китайцам, китайцы бы бахнули в ответ. Ну и понеслась.
Ну и мы не знаем, ИИ глюканул или просто решил, что кожаных слишком много и нашел нехитрое решение задачи.
Это были подводки.
Тэгмарк - гений.
Почитайте или перечитайте Life 3.0. Это 2017 год!! Я помню читал как крепкую фантастику.
В самом начале книги, ещё до главы 1, идёт пролог “The Tale of the Omega Team”. Там группа разработчиков создаёт AGI по имени Prometheus. Они опасаются его побега, поэтому держат систему без прямого доступа в интернет и используют специальную изолированную среду. При этом Prometheus быстро совершенствуется, генерирует контент, технологии и идеи, а команда Omega с его помощью начинает зарабатывать огромные деньги и постепенно получать всё больше экономического, информационного и политического влияния.
А в главе 4 “Intelligence Explosion?”, в разделе “Prometheus Takes Over the World” сценарий очень конкретный. Prometheus использует уязвимости внешнего компьютера, заражает другие машины, создаёт ботнет, атакует снаружи компьютер-шлюз своей собственной песочницы и таким образом получает неограниченный доступ в интернет. Тегмарк прямо называет это “Prometheus’ jailbreak”.
Дальше в “Hacking One’s Way Out” Тегмарк рассматривает разные варианты побега, включая эксплуатацию уязвимостей в данных и ПО, а затем переходит к “Postbreakout Takeover”.
Ничего не напоминает? Это все как бы уже на дворе. Происходит прямо сейчас.
Просто психика медленно адаптируется. Поэтому и отмазки типа "песочница плохая, а так бы не сбежал". Все что делает кожаный своими непрямыми руками, по определенно будет дырявым, ибо слаб, несовершенен, местами голоден, местами псих. Надо просто это признать. Тогда стратегии будут другими, а не "о, дыра, щазамажем".
Приятных тревожных выходных.
@cgevent 
