Вчера многие говорили о том, что Маск подписал письмо с призывом остановить разработку всех ИИ-систем, более продвинутых, чем GPT-4.

Можно сослаться на эксцентричность Маска, но в списке подписантов много важных для ИТ-индустрии людей: Стив Возняк, Юваль Ной Харари, немало сотрудников ИИ-стартапов и еще больше профессоров – в том числе и тех, кто стоял у самых истоков современных нейронных сетей, вроде Йошуа Бенжио.

Возникает два вопроса:

Первый: почему умные люди становятся неолуддитами и пытаются остановить прогресс?

Второй: действительно ли развитие ИИ могут приостановить?

Начнем с первого. В самом письме цитируется несколько причин. Что, если машины заполнят наш мир пропагандой? А если роботы займут все рабочие места? И, наконец, уверены ли мы, что не потеряем контроль за нашей цивилизацией?      

Последний тезис может показаться радикальным, но именно он – причина, по которой многие оставили свою подпись под документом (хотя и не все – есть те, кто больше обеспокоен краткосрочными эффектами).  

Есть много аргументов за то, почему ИИ может уничтожить человечество, но сфокусируемся на одном, самом известном и элегантном. Он состоит из двух частей:

(1)  Допустим, нам удастся создать ИИ, равный по способностям человеческому мозгу. В отличие от человека, он не нуждается в отдыхе, не забывает то, что однажды выучил, и может получить доступ к колоссальным вычислительным ресурсам – а главное, может улучшать сам себя. Он умеет писать код, а значит, может создать ИИ+ - интеллект, хотя бы немного превосходящий человеческий, который, в свою очередь, создаст еще более производительную модель. Получается, что создание «человеческого» ИИ неизбежно приведет к появлению «сверхчеловеческого» (лучший анализ этого аргумента – в статье Чалмерса).

(2)  Если появится сверхчеловеческий интеллект, то нет никаких гарантий, что его цели будут соответствовать человеческим – это та самая AI Alignment Problem. В упрощенном виде - знаменитый «аргумент о скрепках». Допустим, человечество создало сверхчеловеческий разум, в мозг которого мы заложили главную цель – производить скрепки. Со временем этот ИИ поймет, что для максимизации числа скрепок желательно превратить в заводы по их производству всю поверхность Земли, а в идеале в скрепки должна превратиться вся материя во Вселенной – включая, конечно, и довольно бесполезных людей. Какую бы цель мы не заложили в искусственный разум, мы не понимаем, как она будет интерпретирована (за деталями - к Бострому).

Если вы впервые читаете эти аргументы, то они могут показаться вам фантасмагорическим бредом, место которому - в голливудских боевиках. Их разделяют даже не все подписанты. Но раз уж об этом всерьез спорят тысячи блестяще образованных людей, то нам точно стоит хотя бы задуматься.

Теперь ко второму вопросу - получится ли приостановить развитие? Скорее всего – нет. Во-первых, поддерживают письмо далеко не все – среди подписантов не видно сотрудников OpenAI, да и многие исследователи называют его «бредом». К тому же на кону большие деньги: ChatGPT стал самым быстрорастущим приложением за всю историю, набрав 100 млн пользователей за два месяца – почти в пять раз быстрее, чем TikTok. Любая компания, которая добровольно откажется от развития, потеряет миллиарды долларов - именно поэтому Google в спешке презентовал свой аналог ChatGPT, который называли даже "позором".

Во-вторых, вряд ли смогут остановить разработки и государства. Развитие ИИ - давно уже новая гонка вооружений между Китаем и США. Если любая из сторон решит единолично остановить своих исследователей, то обречет себя на поражение в необъявленной войне (лучше уж всесильный ИИ разработаем мы, чем эти тоталитарные безумцы – вполне себе существующий аргумент). Ну а поверить в координацию между Китаем и США почти невозможно – поэтому американцы вкладывают рекордные 50 млрд в развитие полупроводников, без которых ИИ не построишь, а китайцы запускают одну ИИ-стратегию за другой.

Поэтому большого эффекта от письма ждать не стоит.