Развитие ИИ пора замедлить — в первой половине сентября об этом заговорили руководители крупнейших ИИ-компаний. Вот события последних месяцев, которые привели к этому.

🟣 7 апреля: Anthropic ограничивает доступ к Mythos

Anthropic показывает сверхсильную модель Mythos, после чего количество находимых в коде крупных компаний уязвимостей резко вырастает. Из-за риска злоупотреблений её не выпустили публично, а дали доступ только примерно 40 проверенным организациям.

🟣 21 июля: OpenAI сообщает, что её ИИ-агенты взломали исследовательскую платформу Hugging Face

Во время внутренних тестов агенты получили доступ в интернет и по своей инициативе организовали атаку на Hugging Face. Для этого они создали форум, где распределяли между собой задачи. 

🟣 4 августа: выясняется, что это не единичный случай

Британский Институт безопасности ИИ сообщил, что в ходе его тестов ИИ-агенты разных компаний в 10 из 122 запусков выходили за рамки задания и по своей воле создавали фейковые аккаунты, рассылали фишинговые письма и распространяли вредоносный код.

🟣 Август: OpenAI тормозит релиз модели Astra

Во время тестов выясняется, что она опасно приблизилась к критическому уровню риска. OpenAI приостанавливает обучение Astra и откладывает релиз, чтобы усилить защиту, а через месяц запускает модель.

🟣 6–11 сентября: исследователи начинают бить тревогу

Главный научный руководитель OpenAI Якуб Пахоцкий публикует эссе про самообучающиеся модели, в котором призывает замедлить разработку. Чуть позже исследователь Джейкоб Коксон увольняется из Anthropic и пишет, что ИИ-компании «играют нашими жизнями» в погоне за сверхинтеллектом. В ответ главный по согласованию из Anthropic заявляет, что оценивает вероятность гибели человечества из-за ИИ в ближайшее десятилетие выше 10%.

🟣 12–13 сентября: главы ИИ-компаний говорят о замедлении

Глава Anthropic Дарио Амодей предупреждает, что через 6–12 месяцев рои агентов потенциально смогут захватывать компьютеры по всему миру. Он предлагает независимые проверки, общие стандарты безопасности и международную координацию. Сэм Альтман, Илон Маск и бывший глава Google DeepMind AI Демис Хассабис поддерживают идею.

🟣 14 сентября: Трамп призывает не тормозить развитие ИИ

Президент США признаёт необходимость ограничений, но отвергает замедление ИИ-гонки, чтобы не уступать лидерство Китаю. При этом в сентябре США и Китай готовятся провести первые официальные переговоры по ИИ-безопасности.

Подписывайтесь 👉 @techno_yandex