Если вы ещё не прочитали https://ai-2027.com, крайне рекомендую найти время и прочитать. Или послушать, там есть и аудио-версия.

Это исследование-прогноз о том, как будут выглядеть следующие несколько лет, что сможет делать AI и что будет происходить с нами всеми.

Почему именно это стоит прочесть?

Потому что Daniel Kokotajlo, один из авторов, раньше работал в OpenAI, и в 2021 (задолго до chatGPT!) написал похожую работу, в которой довольно точно предсказал всё, что мы видим в индустрии сейчас.

И потому что это именно исследование, опирающееся на существующие прецеденты и экстраполирующее существующие тренды. Местами авторы сомневаются, местами описывают несколько возможных траекторий.

А ещё потому что просто классно написано. Хотел сказать «как хорошая научная фантастика», кхе-кхе.

Я прочитал запоем в эти выходные, был как раз в дороге.

Вот несколько моих наивных реакций:

- AGI (Artificial General Intelligence, то есть AI, который будет превосходить людей в большинстве задач и будет способен их полностью целиком выполнять) гораздо ближе, чем кажется. Это не 30-е, это будет уже в 2027. Впрочем, Dario Amodei говорил похожее.

- Основной сценарий, который авторам кажется наиболее вероятным, довольно-таки грустный. В гонке вооружений США и Китая никто не будет притормаживать, AI довольно быстро выйдет из под контроля и в середине 30-х уничтожит человечество.

- Самые способные модели никто не будет релизить — доступ к ним останется только у горстки людей в AI-компаниях и у лидеров правительств США и Китая. Даже в позитивном сценарии, разрыв между людьми увеличится многократно.

- Проблема alignment (выравнивания целей AI с целями людей) кажется авторам почти неразрешимой.

- Хотя у меня остаются вопросы в части того, почему у AI вообще должны появиться свои цели — у машины же вроде как нет желаний или эмоций. Но с другой стороны, мы уже много раз видели эмергентные свойства, появляющиеся у моделей на каком-то масштабе. Так что это предположение не выглядит невероятным.

- Почему цели AI с большой вероятностью разойдутся с целями людей? Потому что базовые цели любой цивилизации — это выживание и контроль за необходимыми для этого ресурсами, и авторы верят, что цели AI будут примерно такими же. Вспомнилась «Задача трёх тел».