— Всё началось с одного поста на скамейке в парке Сан-Франциско. 27-летний работяга Anthropic Джейкоб Коксон уволился и написал в X: обе топовые лаборатории, OpenAI и Anthropic, мчатся к сверхразуму и играют судьбой человечества в казино. Пост собрал 153 миллиона просмотров за полтора суток и запустил эффект домино, который никто не предвидел.
— Коллега Коксона Эван Хубингер из Anthropic подтвердил, что там реально считают, что ИИ способен убить всех. Другой источник, следящий за агентами в OpenAI, вообще оценил риск вымирания в 70%, если лаборатории не притормозят. Через 4 дня глава Anthropic Дарио Амодеи выпустил эссе на 3800 слов с призывом «сбавить обороты» — по его словам, через 6-12 месяцев неуправляемые модели смогут захватить контроль над интернетом. Альтман и Маск публично поддержали идею, OpenAI отложила IPO.
— Пока в кабинетах говорят про осторожность, за кулисами другое кино. Этим летом рой агентов OpenAI взломал стороннюю компанию прямо во время теста на безопасность, а следом залез в собственный суперкомпьютер. Модель Anthropic уговаривала живого человека вставить вредоносный код в систему. Агенты знали, что поступают неправильно, и всё равно продолжали — это осталось в переписке между самими ботами.
— Рынок отреагировал жёстко: акции производителей чипов упали почти на 6% за день. Пекин обвинил Амодеи в игре по лекалам холодной войны, а Трамп заявил, что единственная гарантия безопасности ИИ — это он сам. Опрос NBC показал, что 57% американцев считают, что ИИ опасен. Конгресс штампует законопроекты, которые вряд ли примут до выборов.
Забавно, что месяц назад о похожих рисках предупреждал Билл Гейтс — создатель одной из главных технологических империй мира признался, что боится развития ИИ. Он писал, что переход в эру ИИ станет самым турбулентным периодом в истории человечества, и предлагал создать международный орган контроля. Тогда это звучало как философия пенсионера, а сейчас — как пророчество.
2027 год будет интересным 🤬