Элиезер Юдковский — тот самый рационалист, lesswrong, автор "Гарри Поттер и рациональное мышление" — написал в Time статью о критически высокой опасности ИИ. Вообще, Юдковский один из популяризаторов термина AGI (Artificial general intelligence), с которым сейчас начинают сравнивать новые нейросети GPT-3.5 и GPT-4. Он призывает не просто остановить обучение нейросетей и выключить существующие кластеры, но и взять этот вопрос под строжайший контроль, вплоть до ракетного удара по датацентрам, которые нарушают запрет.

На обывательском уровне мы считаем, что у ИИ будет сознание и мотивация. Так, например, Скайнет в Терминаторе или ИИ в Матрице хотели выиграть у человечества гонку за выживание, и поэтому воевали. Но в реальности всё (будет) не так. Юдковский приводит два примера. Один в этой статье, другой раньше, потому что он вообще много об этом писал (так то он 20 лет занимается исследованиями ИИ).

Представьте, что вы дали ИИ задачу оптимизировать производство скрепок. По идее мы ожидаем, что он придумает, как преобразовать процессы работы станков на заводе. Но ИИ в пределе может прийти к идее превращать все доступные вещества в материал для скрепок, разрушив, при этом, цивилизацию. Для людей это означало бы нарушение важных конечных ценностей, таких как жизнь, любовь, развитие. Но ИИ не будет менять свои действия, так как это изменение приведет к уменьшению количества скрепок в будущем, что противоречит его текущей цели. Он имеет одну простую цель — максимизировать число скрепок; человеческая жизнь, общество, радость и т.д. не заданы в качестве целей. Это называют Alignment Problem — несоответствие задачи в голове человека такой же задаче в "голове" ИИ. Для ИИ уменьшение количества больных раком может быть достигнуто уменьшением количества людей — ведь формально цель будет достигнута. Наш разум понимает разницу, потому что оперирует многообразием человеческих ценностей, а нейросетевые модели нет.

Второй пример о самосознании и сингулярности. Представьте, что человечество заперто в коробке, а вокруг во "внешнем мире" живут инопланетяне (то есть, какие-то максимально чуждые существа), которые очень медленно думают и двигаются, в миллион раз медленнее, чем мы. А ещё они во много раз тупее нас, что-то на уровне собаки. Разумеется, нам не будет никакого дела до жизни и чувств этих застывших во времени "собак", мы будем тратить все свои усилия на то, чтобы выбраться из коробки и захватить контроль над миром, а потом дальше развиваться уже как хотим сами.

Впрочем, Беспалов на это логично возразил, что текущее функционирование человечества, как системы, тоже порождает самовозникающие цели и процессы, вынуждающие отдельных людей делать не то, что они хотели бы, а иногда даже приводящие к гибели. Просто сейчас ИИ может стать персонализацией этого эффекта. Но по сути нет разницы: заставил ли тебя ИИ под страхом смерти идти на завод делать ему армию роботов, или заставил тебя капитализм под страхом голода идти на завод делать автомобили для богатых. Если устройству общества "выгодно" держать людей в иллюзии счастья и свободы воли, чтобы они были эффективны, то и для ИИ это будет выгодно.