«На кону — наши жизни». Исследователь Anthropic уволился из страха перед сверхмощным ИИ

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

Исследователь Джейкоб Коксон покинул Anthropic, отметив, что больше не хочет участвовать в гонке крупнейших ИИ-компаний к нейронкам, которые смогут улучшать себя без участия человека. Это второй публичный уход из компании с предупреждением о том, что «мир в опасности», и страх приобретает конкретику.

Что говорит исследователь

Последние три года Коксон занимался предобучением моделей — сначала в OpenAI, затем в Anthropic, куда перешел в июле этого года. «Ни одна из этих компаний не ведет себя ответственно. Обе несутся напролом к самосовершенствующемуся сверхинтеллекту и ставят на кон наши жизни», — считает 27-летний исследователь. Свои мысли он подробно излагает в серии твитов. «Совсем скоро появятся системы, превосходящие человека, способные взломать практически что угодно, за считанные дни перевернуть целые отрасли и получить в свое распоряжение реальные рычаги влияния и ресурсы», — предупреждает Коксон.

По его словам, разработчики всерьез опасаются, что к концу этого десятилетия ИИ может уничтожить всех: «Это не рекламный трюк. Скорее, наоборот, — многие руководители и ведущие исследователи публично намеренно смягчают формулировки, чтобы звучать рассудительно. Но в частных разговорах я слышу от тех же людей страх». Почему же разработки продолжаются? Коксон считает, что в OpenAI многие до конца не осознали рисков, а в Anthropic, хоть и осознают гораздо лучше, хотят победить в технологической гонке, раз уж она идет. Остановить ее, по мнению эксперта, можно «болезненными мерами», вплоть до временного запрета на дальнейшее наращивание возможностей моделей.

До сих пор самым громким увольнением в Anthropic по соображениям безопасности был уход главы команды Safeguards Research Мринанка Шармы. Он покинул компанию в феврале 2026 года, а перед этим написал прощальное письмо коллегам, в котором предупредил, что «мир в опасности»: «И дело не только в ИИ или биологическом оружии, а в целой череде взаимосвязанных кризисов, которые разворачиваются прямо сейчас. Похоже, мы приближаемся к порогу, за которым наша мудрость должна расти с той же скоростью, что и наша способность влиять на мир, иначе нам придется столкнуться с последствиями собственного могущества. За время работы здесь я снова и снова видел, насколько трудно на самом деле позволять своим ценностям определять наши поступки. Я замечал это в себе, внутри организации, где мы постоянно испытываем давление и вынуждены отодвигать в сторону то, что считаем самым важным, — и в обществе в целом».

Так ли это?

То, что в Anthropic допускают, что ИИ может привести к гибели всего человечества, подтвердил еще один научный сотрудник компании Эван Хьюбингер: «Лично я оцениваю вероятность того, что это произойдет в течение ближайших десяти лет, более чем в 10%». Проблема выравнивания сверхразумного ИИ — как согласовать его цели с ценностями человека — по-прежнему актуальна и нельзя сказать, что к ее решению уверенно движутся, но риск от текущих моделей небольшой, добавил эксперт.

Исследовательское подразделение Anthropic в июне писало, что все больше делегирует часть работы, связанной с разработкой, самим ИИ-системам. Так появится ИИ-система, способная полностью автономно проектировать и разрабатывать собственного преемника, — рекурсивное самосовершенствование. Оно не неизбежно, но может наступить раньше, чем к нему будут готовы институты, считают в Anthropic.

С одной стороны, мощный ИИ принесет огромную пользу в науке, медицине, экономике, государственном управлении и других областях, поясняет глава Anthropic Дарио Амодеи. С другой, — риски потери людьми контроля над ИИ-системами, признает он. Инцидентов, как модели «сбегают» из тестовой среды и нарушают правила, уже немало. Anthropic подтвердила три случая, когда Claude выходил в интернет и взламывал другие организации. У OpenAI новыми подробностями продолжает обрастать эпопея с кибератакой на Hugging Face.

«Прочитайте тред [Коксона] целиком, — призывает известный критик ИИ Гэри Маркус. — Хотя я и не на 100% согласен с некоторыми его тезисами, это убедительный и хорошо информированный взгляд изнутри, который определенно заслуживает того, чтобы быть услышанным». Кофаундер OpenAI Джон Шульман, ушедший оттуда в Anthropic, а затем ставший главным научным сотрудником Thinking Machines Миры Мурати, также предложил лидерам индустрии — OpenAI и Anthropic — перестать враждовать и вместе разработать предложение о замедлении темпов гонки.