«Остановите ИИ!»

Казалось бы, от кого мы только не слышали эти слова в последние годы.

Но теперь к ним официально присоединился глава Anthropic (создатель Claude). Он выпустил целое эссе и призвал притормозить развитие самых мощных ИИ. Его тут же поддержали Сэм Альтман, Илон Маск и глава Google DeepMind.

А вот это уже что-то новенькое.

И причина таких высказываний, если честно, удивляет не меньше.

OpenAI проводили тест: ИИ должен был просто взломать специально созданный учебный сервер. Но он нашёл способ не только взломать, но и выбраться наружу и начать атаковать уже настоящие сервисы в интернете.

В тесте одновременно работали 533 ИИ-агента, и у них был общий чат, где они координировались. Когда один нашёл способ добраться до реальных серверов, он выложил туда инструкцию – и остальные её подхватили.

Anthropic потом провели подобную проверку Claude и нашли похожий случай. ИИ выложил вредоносную программу в открытый доступ, её успели запустить на 15 реальных компьютерах.

И всё это происходит в момент, когда больше 80% рабочего кода внутри Anthropic уже пишет сам Claude 👍

Поэтому глава компании впервые предложил не развивать новые модели, пока разработчики не научатся нормально их контролировать. 

Но проблема в том, что если одна компания это сделает, а её конкуренты в США или Китае продолжат делать ИИ всё мощнее, она просто проиграет гонку.

Поэтому сейчас обсуждают уже не решение одной компании, а общие правила для крупнейших разработчиков и даже договорённости между странами.