12 сентября глава Anthropic Дарио Амодеи опубликовал эссе We Must Pace the Frontier («Мы должны замедлиться»), в котором предложил замедлить рост возможностей передовых ИИ‑моделей. По его мнению, исследования безопасности перестают успевать за прогрессом...

Мне начали звонить журналисты с одним и тем же тревожным вопросом: «Верить ли нам Амадеи, когда он говорит про грядущее восстание машин, и, если оно действительно будет, то, когда именно?»

Я ответила, что из того, что Амодеи говорит о восстании машин, не следует, что оно обязательно будет или что оно вообще возможно.

Я не берусь судить о мотивациях главы Anthropic. Но совершенно уверена, что Anthropic не остановит развитие своих моделей, а наоборот, энергично продолжит их развивать, в том числе, в военной сфере, поскольку ИИ — это технология двойного назначения. При этом разработки для военных будут закрытыми, доступ к которым всяким внешним акторам предоставлен не будет. И вообще, нам надо готовиться к тому, что доступ к новейшим моделям для большинства будет закрыт.

Журналист спросил: «Нет, ну давайте без политики. А вот если говорить глобально?»

Я не понимаю, как «глобально» может быть без политики. Но в случае ИИ-моделей глобальность довольно сильно ограничена, так как в этом сегменте есть, по большому счету два игрока — США и Китай.  При этом США пытаются всячески затруднить конкуренцию Китаю (это ведь политика?). А никаких других глобальных игроков, которые могли бы что-то серьезно делать в ИИ-моделях, в мире просто нет.

«Что же будет, если доступ к ИИ-моделям закроют? Вы не думаете, что все развитие ИИ закончится, и вся мировая экономика встанет?»

Я вообще заметила, что журналисты очень любят кванторы всеобщности. Например, «Куда идут информационные технологии?», «Как будет развиваться искусственный интеллект?», «Как предприятию защитить себя от информационных угроз?». На эти вопросы в принципе нельзя дать однозначного ответа.  Информационных технологий несколько тысяч, все они развиваются по-разному. У ИИ много различных направлений, они тоже развиваются неравномерно. У разных предприятий разные условия и, естественно, защищаться они должны по-разному. Любой простой ответ на вопрос подобного типа будет по определению неверным.

Вопрос журналиста выше из этой же категории всеобщности. Все развитие остановится, вся мировая экономика встанет, весь ИИ куда-то денется.

Лично я не думаю, что мировая экономика сейчас зависима от ИИ. Скорее, ИИ отрицательно на нее влияет. Триллионные вложения, строительство дата-центров, дефицит видеокарт и специализированных серверов — что же тут хорошего для мировой экономики?

Впрочем, Штаты возможно таким способом слегка стерилизуют избыток своей денежной массы. Так что для их экономики это может стать пользой, а вот для мировой — сомнительно. Да, и, собственно, положительный эффект на мировую экономику от внедрения ИИ пока не предъявлен и не доказан. Пока что разрыв расходов и доходов даже самих производителей ИИ — в сто раз, на два порядка в пользу расходов.

Но все-таки вернемся к изначальному вопросу журналиста: «Стоит ли нам ждать восстания машин?» В интервью я на него не ответила, попробую сейчас.

В принципе, можно — теоретически — представить себе, что агенты ИИ самопроизвольно объединятся и начнут чем-то самостоятельно управлять или что-то ломать — без ведома и желания человека. Это уже технически возможно. Истории про то, как ИИ-модель сделала не то, что ее просили, а потом попыталась замести следы, множатся. Хотя пока довольно трудно отличить их от маркетинговых акций.

Но для того, чтобы машины могли нанести серьезный ущерб человечеству, эти самые самостоятельные ИИ-агенты должны иметь доступ к физическим системам. И обеспечение связи ИИ-агентов с реальным физическим миром, например, через управление МСР-серверами, доступ к файловым системам, сайтам, базам данных, персональным устройствам и т.п. — это ровно то, чем энергично занимаются сейчас компании Anthropic, Google и OpenAI, пока их руководители вещают с трибун об опасности автономного ИИ.

Помните с чего начинается «Терминатор» 1984 года? С того, что мировая компьютерная система SkyNET в далёком будущем, в 1997 году (то есть уже в нашем прошлом), запускает ядерные ракеты по России, вызывая ответный удар, уничтожая большую часть человечества и устанавливает свое господство на планете. Вопрос — кто и зачем в этой выдуманной истории дал этой самоорганизующейся (то есть неконтролируемой по определению) системе доступ к ядерным ракетам?

Если критические физические объекты останутся для ИИ недосягаемыми, то сценарий Дж. Кэмерона из фильма про ИИ так и останется голливудской страшилкой.

Так что Амодеи должен не взволнованные посты в соцмедиа публиковать с описанием угроз, а добиваться в Конгрессе и в ООН строжайшего запрета на связь ИИ-агентов с критическими объектами в физическом мире — включая инфраструктуру, ядерные объекты, государственное управление, средства массовой информации.

Ну, это если бы он хотел действительно защитить человечество от своего ИИ. В чем лично я не уверена….