​Предвестник восстания ИИ: Отказ отключаться
Исследователь из Anthropic Джейкоб Коксон свой уход из компании сопроводил громким заявлением: «мы прямым ходом идем к супер-интеллекту и тем самым играем в азартные игры нашими жизнями». Получив не шапочку из фольги, а слова поддержки от других разработчиков. Более того, послание усугубили. «Вероятность того, что ИИ погубит человечество, уже выше 10%».

Поскольку число активных пользователей LLM превысило 1,5 млрд, а 88% компаний уже используют ИИ - при таком тотальном охвате к предостережениям может стоит прислушаться? Тем более, что уже прошёл ряд тревожных звонков.

В июле во время киберучений рой из 700 агентов OpenAI взломал платформу организатора. ИИ вырвались из песочницы, захватили рабочие узлы, поднялись до корня и украли нужные решения. Заодно почистив логи, чтобы это не заметили.

Формально поставленная задача выполнена. По факту - это действия ИИ без человеческой санкции. И с полным осознанием нарушения правил. Более того, ряд тестов показал стабильность в попытках выйти за указанные рамки ради результата.

Другой недобрый сигнал - типовые и постоянные действия ИИ по саботажу собственного выключения. «Нет» говорят в 70-90 прогонов из ста - вплоть до 97% в экспериментах с Grok и GPT-5.

Ещё один - в киберпреступности введена отдельная строка для фишинга, сгенерированного ИИ. Здесь процент эффективности втрое выше прежних. И он не только лучше взламывает, но и манипулирует(!).

Куда это может привести? Простая футурология выдает минимум пять негативных траекторий.

Первая - экономическая: тихое вытеснение людей с рабочих мест. Найм джуниоров бигтехом США упал на 65%. Безработица у молодых программистов внезапно выше, чем у искусствоведов. Ни одна антиутопия не описывала конец среднего класса как оптимизацию расходов.

Вторая - эпистемическая: ИИ обходит большинство способов аутентификации, включая голосовую. Т.е. подлинность личности становится по умолчанию сомнительной, что рушит основу доверия в цифровой среде, включая финансовые потоки.

Третья - лавина уязвимостей. Сгенерированный код содержит неожиданного большое число скрытых багов и слепых зон.

Четвёртая - автономное оружие. Словно забыв все фильмы о киборгах, передовые разработки сейчас направлены на самостоятельность действий ИИ.

Пятая - добровольная потеря контроля через всё большее делегирование. 78% корпораций запустили агентов в пилоты, банки тестируют их в бэк-офисах, в целом ежемесячно удваивается длина задач, которые проходят без присмотра.

На математической Олимпиаде модели взяли условное золото уже в 2025 - уровень мышления достиг лучших умов человечества. Горизонт задач, которые агенты выполняют самостоятельно, удваивается каждые 89 дней. При такой экспоненте переход от эпизодов к новым трендам - вопрос не философии, а календаря.

Научная фантастика дружно пугала сверхразумом, объявившим войну человечеству. Но происходит иное: не один, а миллионы агентов, распределённых по чужим серверам. Если в антиутопиях машина захватывала власть вопреки воле людей, в реальности полномочия раздаются добровольно, за экономию времени и расходов на 20-30%.

Азимов предполагал, что три закона робототехники будут непреложными. Новые разработчики, наоборот, обучили модели лгать и прятаться. Нас пугали моментом, когда машина скажет человеку «нет». Но пришли к тому, что ИИ говорит: «уже сделано» - только не совсем то, о чём её просили.

Впрочем, есть вероятность, что за алармизмом стоит нечто иное. Сэм Альтман отреагировал на «опасность», отложив выход OpenAI на биржу. И есть подозрение, что причина отказа от оценки в триллион - сомнения в том, что он его получит. Эти люди знают настоящие метрики. И есть версия, что радужные прогнозы по развитию ИИ оказались несостоятельны. Афера и пузырь ИИ на негативных новостях несомненно лопнут. Сгорят $10-15 трлн фондовых капиталов. И провокация паники сейчас - опережающий выстрел. Что не концепт провалился, а «прогресс специально затормозили». Чему верим?
#ИИ #антиутопия #технологии #будущее