🤖 Люди, которые предсказали конец света от ИИ, написали продолжение. Со счастливым концом, но пугает он почему-то не меньше.

Весной 2025-го команда AI Futures Project выпустила «AI 2027» — сценарий, в котором гонка за сверхразумом за пару лет заканчивается либо гибелью человечества, либо властью узкой группы людей. Текст обсуждали в Вашингтоне и Кремниевой долине. А 9 июля этого года вышло продолжение: «AI 2040: Plan A», 90 страниц о том, как катастрофы избежать.

Что они предлагают:

▪️ 2029 год. США и Китай видят, что ИИ вот-вот научится улучшать сам себя, и заключают сделку: гонка на паузу. Постепенно присоединяется почти весь мир.

▪️ Все исследования ИИ публикуются в открытую. Каждая компания видит, что делают конкуренты, спрятать опасную разработку невозможно.

▪️ Новые дата-центры строят на чужой территории: китайские в Канаде, американские в Монголии. Если сделка рухнет, хозяева сами взорвут свои чипы, лишь бы не достались противнику. Ядерное сдерживание, только для вычислений.

▪️ Роботы забирают почти всю работу. Государство продаёт компаниям квоты на роботов и раздаёт выручку гражданам: к 2035 году каждому американцу выходит миллион долларов в год. Работают к этому моменту 26% населения.

▪️ В 2035-м развитие ИИ замораживают на уровне «как лучший человеческий эксперт». Пять лет учёные проверяют, что ИИ не врёт и не предаст. В 2040-м ограничения снимают, и людям остаётся передать машинам управление экономикой и даже армиями.

Руководил проектом Томас Ларсен, среди соавторов Дэниел Кокотайло — тот самый исследователь, что ушёл из OpenAI, отказался подписать обязательство молчать и поставил на это почти все свои сбережения. Рядом Элай Лифланд, один из сильнейших прогнозистов мира: существуют международные турниры предсказаний, он там в топе. Редактировал текст Скотт Александер, автор Astral Codex Ten.

Умнейшие люди в этой области несколько лет искали реалистичный хороший исход. Получилось: Вашингтон и Пекин пускают друг друга инспектировать дата-центры, весь мир десять лет соблюдает ограничения, корпорации добровольно раскрывают секреты. Счастливый конец требует чуда, причём дипломатического. Техника там как раз самое простое.

Вопросы залу:
— Сделка США и Китая со взаимными инспекциями: возможна в принципе?
— Миллион в год каждому вместо работы: утопия или усыпляющая таблетка?
— Если это лучший план человечества, каков запасной?