Люди = мусор

В последние пару дней в нашем внутреннем приканальном кружке футурологов чате идет активное обсуждение DeepResearch от OpenAI и того, к чему приведут человечество самообучающиеся, выпущенные в бесконтрольное Интернет-плавание автономные ИИ-агенты, или автоматоны.

У меня есть для вас свежая статья приглашение к дискуссии. От исследователей из Оксфордского университета. Если кратко, то смысл этой статьи сводится к тому, что:

ИИ не станет отнимать конкретно и именно вашу унылую работу, нет. Вместо этого просто деградируют и распадутся сами общественные институты, благодаря которым эта работа стала возможна как явление. А все потому что люди в целом не будут представлять экономической и другой ценности как таковой. 

Привычный сценарий ИИ-апокалипсиса, который навязывали фантасты и режиссеры - это либо внезапная потеря человечеством контроля из-за неожиданного увеличения возможностей ИИ, либо же скоординированное "предательство". Но эта внезапность совершенно ни к чему, пусть она и вызывает эмоциональный отклик. Гораздо страшнее и неотвратимее "лягушка в кипятке". Когда постепенное развитие ИИ, без каких-либо резких революционных скачков, все равно может привести к необратимой потере человеческого контроля над ключевыми общественными системами: экономикой, культурой и государством. Просто потому нейросети все больше заменяют человеческий труд и "когнитивочку", ослабляя как явные механизмы контроля (голосование, потребительный выбор), так и неявные (зависимость функционирования систем от человеческого участия).

Машины станут более конкурентоспособной альтернативой людям практически во всех общественных функциях - от экономики до принятия решений, создания объектов искусства и даже общения. Утрата влияния человечеством произойдет без какого-либо резкого трансформационного прогресса в области ИИ и всяких "пугать детей" AGI. Человечество "выпустит вожжи из рук" в результате совокупного эффекта множества мелких и почти незаметных изменений в функционировании и взаимодействии общества.

Нам хочется держать в уме собирательный образ врага, но в случае ИИ это не нужно. Просто люди и общественные институты будут как и сейчас в своей мышиной возне следовать своим привычным маленьким стимулам (заработать деньги, удовлетворить личное эго, спасти человечество, провести научный эксперимент и т. п.).

Все наши общественные системы ориентировались на человеческие интересы только потому, что участие людей было необходимо для процветания экономики, государств и культуры. Если ввести в это уравнение более конкурентноспособные машины, то исчезнет и необходимость заботиться о процветании людей. Лица, принимающие решения на всех уровнях, столкнутся с давлением, требующим сократить участие людей во всех сферах. Общественные институты (государство, культура, экономика) не завязанные на потребностях людей, станут оптимизироваться в направлениях, никак не связанными с потребностями людей. В тех же социальных системах будут вознаграждаться результаты, которые более эффективны для ИИ, пусть для людей они и несут вред. Но кого это волнует, как будто когда-то строителей шоссе волновал муравейник на их пути...

И сопротивляться этой волне почти невозможно, потому что все общественные институты взаимосвязаны. Например, попытки использовать политические инструменты для сохранения экономической роли людей будут нейтрализоваться тем, что компании, получающие прибыль с помощью ИИ будут использовать свою, постоянно растущую, экономическую власть для давления на политиков и общественное мнение. Вместе с экспансией нейрогенов в общество разрушатся и механизмы обратной связи, поддерживающие человеческое влияние. Если государство финансируется в основном за счет налогов с прибыли от ИИ (а не труда граждан) то его мало интересует, существуют ли те граждане вообще...

SRC: Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development