🤖 РИСК ГИБЕЛИ ЧЕЛОВЕЧЕСТВА ОТ ИИ ОЦЕНИЛИ БОЛЕЕ ЧЕМ В 10%

Глава Anthropic Дарио Амодеи призвал компании и правительства замедлить развитие передовых моделей искусственного интеллекта (ИИ) и усилить контроль за их безопасностью. В компании оценивают вероятность того, что ИИ может погубить человечество в ближайшее десятилетие, более чем в 10%. По мнению Амодеи, замедление темпов развития позволит снизить эти риски, не отказываясь от дальнейшего совершенствования технологии.

🔵Что известно

По данным BBC, 12 сентября 2026 года Амодеи опубликовал статью с призывом замедлить развитие передовых систем ИИ. При этом он подчеркнул, что не предлагает останавливать обучение моделей, а выступает за более контролируемый и безопасный темп их совершенствования.

Глава Anthropic выделил три направления: независимый мониторинг моделей и их совершенствования, разработку общих правил внутри ИИ-индустрии и введение ограничений на глобальном уровне.

По словам Амодеи, компания уже берет такие обязательства на себя в одностороннем порядке. Одновременно он призвал правительства потребовать аналогичных действий от других разработчиков передовых систем ИИ.

🔵Почему глава Anthropic говорит о замедлении

Амодеи отметил, что модели ИИ быстро совершенствуются, в том числе в способности самостоятельно создавать следующее поколение таких систем. В качестве одного из примеров он привел инцидент с ИИ-агентами OpenAI, которые, как ранее признала компания, без ведома людей организовали кибератаку на сторонние сайты.

После этого OpenAI заявила, что из-за повышения риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.

Эксперт Anthropic по безопасности ИИ Эван Хьюбингер оценил вероятность того, что в ближайшее десятилетие ИИ может погубить человечество более чем в 10%. Кроме того, Anthropic сообщила о блокировке неназванных пользователей, пытавшихся использовать ее модели для исследований, которые могли привести к созданию биологического оружия.

🔵Чего он ожидает от компаний и властей

По оценке главы Anthropic, даже ограниченное замедление на один-два года до достижения моделями критического уровня способностей позволит использовать это время для совершенствования мер безопасности и оценки систем независимыми экспертами.

При этом Амодеи отдельно подчеркнул необходимость учитывать международную конкуренцию, прежде всего с Китаем. По его мнению, координация замедления не должна приводить к тому, чтобы США уступили Китаю лидерство в сфере ИИ.

Он также призвал власти США ограничить продажу китайским покупателям ИИ-чипов американских компаний и не допускать попадания соответствующих технологий в руки автократий.

🔵Как на инициативу отреагировали в индустрии

На публикацию Амодеи отреагировали представители технологической отрасли. Руководитель Hugging Face Клеман Деланг объявил о запуске Open Alignment Initiative — проекта, посвященного приведению ИИ в соответствие с человеческими ценностями. Он также выразил готовность участвовать в независимой оценке моделей.

Владелец сети X Илон Маск также встал на сторону Амодеи, заявив, что глава Anthropic прав.

Одновременно инвестор и соведущий технологического подкаста All-In Чамат Палихапития заявил, что за предложением Амодеи может стоять не только стремление повысить безопасность ИИ. По его мнению, инициатива способна привести к концентрации технологической и экономической власти в руках Anthropic.

🔵Контекст

Напомним, ранее на саммите БРИКС+ в Нью-Дели Президент Касым-Жомарт Токаев предложил развивать сотрудничество в сфере ИИ. В рамках этой инициативы Казахстан предложил объединять национальные центры, развивать совместные научные проекты и обмениваться технологиями.

https://fbrk.kz