Когда ИИ выигрывает, а потом что?

В игре Ника Шапиро "The choice before us" лидеры ИИ-компаний «открывают чудеса», вроде лекарства от рака, но часто выигрывают, находясь в шаге от неконтролируемого суперразума. Создатель игры и Шон, автор статьи, отмечают общую проблему: мы не додумываем сценарии развития ИИ до логического конца.

Эта остановка на пике напряжения, когда ИИ вот-вот выйдет из-под контроля, сродни оценке шахматной позиции, где ваш король под угрозой, а ферзь атакован, вместо того чтобы сделать несколько ходов и достичь "стабильного состояния" без прямых угроз. Шон утверждает, что даже мир, где "только 90% людей погибает", не является устойчивым финалом, а лишь промежуточным моментом хаоса.

Поэтому ключевая задача — научиться мыслить дальше момента прорыва или катастрофы, доходя до реально стабильного и предсказуемого равновесия.