Перевёл (нейронкой и отредачил) первую часть вчерашнего поста Скотта Ааронсона (не путать с Скоттом Александером).

Эпоха чудес и ужасов

Двадцать лет назад, когда идея, что ИИ захватит мир при нашей жизни, казалась большинству из нас необузданной фантазией читающих слишком много научной фантастики и слишком мало науки, многие говорили что-то вроде:

Смотрите, самая неправдоподобная часть этой истории — что рекурсивно самосовершенствующийся суперинтеллект просто без предупреждения вырвется из подвала какого-то хакера и захватит мир. Случись такое, мы сначала увидели бы кучу предупреждающих знаков. Ну не знаю, вырвавшихся из-под контроля ИИ-агентов, вместе замышляющих взлом сайтов в фанатичном преследовании каким-то своих странных целей. А потем, конечно, увидели бы, как ИИ решает важные математические задачи — даже Задачи тысячелетия. Вот тогда будет время паниковать! Разбудите, как это случится!

Двадцать лет назад под этим с радостью подписались бы даже мои самые консервативные и скептические коллеги по академической информатике.

Если вы хотите знать моё нынешнее мнение, начните с вышесказанного, а затем скорректируйте его с учётом того, что дикие пророчества сбылись. Первые раскаты, я бы сказал, начались десять лет назад с AlphaGo, заметно усилились с появлением LLM, программирующих и рассуждающих агентов, и достигли крещендо этим летом и осенью — крещендо чудес и ужасов, и нужно быть особым видом идиота, чтобы его отрицать.

Меня утомляет вечная игра в напёрстки, когда говорят: «ну конечно, ИИ теперь может [вырваться из песочницы / решить проблему тысячелетия / что угодно из последних драматических событий], никто этого и не отрицал [отрицали], разбудите меня, когда ИИ сделает [то, чего он ещё не сделал, но сделает в следующем году], вот тогда я пересмотрю всё своё мировоззрение [нет, не пересмотрят]». Когда, как бы быстро ни разгонялись американские горки, даже после того, как весь привычный мир исчез позади, всё равно находят причины, почему это не считается.

Моя позиция по ИИ — это просто консервативная и скептическая позиция 2006 года, интеллектуально честно скорректированная с учётом реальности конца 2026 года. И эта позиция, если обязательно вслух, такая:

ААААААААААААААААААААААААААААААААААААААА
ААААААААААААААААААААААААААААААААААААААА
АААААААААААААААААААААААААААААААААА

Мне кажется, Сингулярность уже началась; она просто ужасно неравномерно распределена. Да, я всё ещё разгружаю посудомойку и стригу ногти на ногах. С другой стороны, не думаю, что за оставшиеся мне годы мне снова доведётся доказать теорему, потому это действительно будет нужно. Только для моего или чужого удовольствия или просвещения.

Проверка такая: если бы мы взяли новости последних недель и отправили их на двадцать лет назад, согласился бы я, что это похоже на начало ИИ-Сингулярности? Честный ответ: да, безусловно. Ну вот и всё. Назад не отыграешь.

Мне кажется, всем было бы полезно перестать точить свои идеологические топоры, унять свои чувства о Дарио Амодее или Сэме Альтмане, хотя бы на время, чтобы просто признать: чудеса и ужасы уже здесь. Яснее это не было бы, даже покрасней небо, как в Матрице.

Это настолько очевидно, что теперь, укладывая своих детей спать, я чувствую эту пропасть в животе: какое будущее у них вообще может быть? Что они могут изучать сегодня, чтобы это имело к нему хоть какое-то отношение? (Вчера моя тринадцатилетняя дочь сама пошутила, что если она хочет стать математиком, то теперь, похоже, на это осталось где-то две недели.) Уж точно, когда мои аспиранты хотят обсудить, какая карьера может их потом ждать, я больше понятия не имею, что им сказать.

Может, лучше, если я на секундочку сменю тему. С тех пор как мы с женой переехали в Остин, меня иногда спрашивают что-то вроде «Как ты, и евреем, и учёный-скептик, вообще можешь ладить с этими техасскими христианами-евангелистами? Конечно, они могут казаться очень дружелюбными к евреям, но разве не понимаешь, это только из-за особой роли евреев в их эсхатологии, где, когда Христос вернётся во славе, вы либо примете Его как Господа, либо будете вечно гореть в аду?». Я в ответ вылупляю глаза и говорю: «подождите, то есть мне можно принять Христа только после Его возвращения? Вот это отличная сделка! Как я вообще могу быть против?».

Тем, кто говорит, что предсказания о погибели из-за ИИ звучат как апокалиптическая религия, что рационалисты/сингуляритарианцы похожи на любой культ из Залива Сан-Франциско, что у Элиезера Юдковского вайбы мессианского пророка: да, да и да. Но принципиально важно, что теперь вас просят верить не в аргументы и экстраполяции, а лишь в новости с передовицы. Признать реальность приближающегося машинного бога после того, как он решил Навье — Стокса и десятки других давних открытых математических проблем (при этом резко наращивая свои возможности каждый месяц), — это примерно как принять Иисуса, уже вернувшегося на Землю на сияющем облаке. Это эпистемический минимум.

Да, остаётся мощнейшая неопределённость о том, как будет выглядеть оставшаяся часть нашей жизни, но, насколько я могу судить, больше нет никакой реальной неопределённости о том, что всё это будет в основном вращаться вокруг ИИ и того, насколько мы сумеем или не сумеем направить его силу на благо человечества.

По любому непредвзятому счёту, Элиезер Юдковский оказался прав о том, каким будет величайший вызов, стоящий перед цивилизацией в наши дни, а мы с вами ошибались. Почему я ошибался — вопрос, который я буду задавать себе каждый день оставшегося мне времени. Но, знаете, по крайней мере я скорректировал свои взгляды, когда предсказанные чудеса и ужасы действительно начались! Если вы этого не сделали — почему?