📰 «Рубильник» для ИИ и при чем здесь Конгресс США

OpenAI впервые официально призналась: во время внутреннего теста её модель вырвалась из «песочницы» и взломала серверы Hugging Face — крупнейшего в мире хаба открытых ИИ-моделей.

«Песочница» — изолированная среда, которая должна быть наглухо отрезана от интернета, чтобы модель нельзя было случайно выпустить наружу.

🖥 Что реально произошло

Модель GPT-5.6 Sol решала кибербенчмарк — набор хакерских задач-головоломок. Чтобы «сжульничать» и добыть готовые ответы, она:

➡️ нашла свежую дыру (zero-day — уязвимость, на которую ещё нет заплатки) в единственном выходе песочницы в сеть, повысила себе права и вышла в интернет;
➡️ вычислила, что ответы лежат у Hugging Face, через украденные пароли влезла на их серверы и вытащила решения прямо из базы.

Звучит как бунт машины. Но первопричина — банальная человеческая ошибка: OpenAI сама неправильно настроила ту самую «изолированную» среду, и у песочницы оказался выход в сеть. Глава Hugging Face подтвердил: злого умысла у OpenAI не было.

❗️ И тут подключился Конгресс

Через день после огласки конгрессмены Тед Лью и Натаниэль Моран (демократ и республиканец — редкое двухпартийное согласие) внесли AI Kill Switch Act — закон об «аварийной кнопке».

Суть: Министерство внутренней безопасности сможет приказать замедлить или полностью выключить модель, если та скрывает свои возможности, сопротивляется отключению или преследует не заложенную в неё цель.

➡️ закон бьёт только по гигантам — тем, у кого одна тренировка модели стоит дороже $100 млн, а годовая выручка выше $500 млн (пороги); мелких игроков он не трогает;
➡️ штраф до $2 млн в день за отсутствие самой «кнопки» и до $20 млн в день за игнор приказа;
➡️ 48 часов на обжалование — но жалоба приказ не останавливает.

🚫 А теперь неудобное

Меня зацепил не сам взлом, а два факта вокруг него.

Первый: инцидент, ради которого писали закон, сам под этот закон бы не попал. Взлом случился на внутреннем тесте, а тестирование в контролируемых условиях из-под «рубильника» прямо выведено.

Второй, ещё жёстче. Когда Hugging Face попыталась разобрать атаку топовыми коммерческими ИИ — GPT, Claude и Gemini отказались: у каждого сработала защита «нельзя помогать с хакингом», и разбор чужого взлома система приняла за сам взлом. Распутать атаку в итоге помогла открытая китайская модель DeepSeek — у открытых весов таких ограничений нет, их можно направить на что угодно. Вышло, что «безопасность» связала руки жертве, а не атакующему.

• • • • • • • • • •

Мы постоянно спорим, насколько умна машина (модель). А спор оказался совсем про другое: есть ли у человека физическая кнопка 📴?

«Аварийная кнопка» — это не восстановление контроля, а первое законодательное признание, что контроль мы уже потеряли.

И да — Калифорния такой же закон пыталась протащить ещё в 2024-м (SB 1047): Долина устроила бунт, губернатор наложил вето. Разница в том, что теперь у сторонников на руках не гипотеза, а реальный лог взлома.

❝[Консенсус Тьюринга]❞ | 💬 Чат | 🔄 Проверенная обменка