Перевёл (нейронкой и отредачил) первую часть
вчерашнего поста Скотта Ааронсона (не путать с Скоттом Александером).
Эпоха чудес и ужасовДвадцать лет назад, когда идея, что ИИ захватит мир при нашей жизни, казалась большинству из нас необузданной фантазией читающих слишком много научной фантастики и слишком мало науки, многие говорили что-то вроде:
Смотрите, самая неправдоподобная часть этой истории — что рекурсивно самосовершенствующийся суперинтеллект просто без предупреждения вырвется из подвала какого-то хакера и захватит мир. Случись такое, мы сначала увидели бы кучу предупреждающих знаков. Ну не знаю, вырвавшихся из-под контроля ИИ-агентов, вместе замышляющих взлом сайтов в фанатичном преследовании каким-то своих странных целей. А потем, конечно, увидели бы, как ИИ решает важные математические задачи — даже Задачи тысячелетия. Вот тогда будет время паниковать! Разбудите, как это случится!Двадцать лет назад под этим с радостью подписались бы даже мои самые консервативные и скептические коллеги по академической информатике.
Если вы хотите знать моё нынешнее мнение, начните с вышесказанного, а затем скорректируйте его с учётом того, что
дикие пророчества сбылись. Первые раскаты, я бы сказал, начались десять лет назад с AlphaGo, заметно усилились с появлением LLM, программирующих и рассуждающих агентов, и достигли крещендо этим летом и осенью — крещендо чудес и ужасов, и нужно быть особым видом идиота, чтобы его отрицать.
Меня утомляет вечная игра в напёрстки, когда говорят: «ну
конечно, ИИ теперь может [вырваться из песочницы / решить проблему тысячелетия / что угодно из последних драматических событий], никто этого и не отрицал [
отрицали], разбудите меня, когда ИИ сделает [то, чего он ещё не сделал, но сделает в следующем году],
вот тогда я пересмотрю всё своё мировоззрение [нет, не пересмотрят]». Когда, как бы быстро ни разгонялись американские горки, даже после того, как весь привычный мир исчез позади, всё равно находят причины, почему это не считается.
Моя позиция по ИИ — это просто консервативная и скептическая позиция 2006 года, интеллектуально честно скорректированная с учётом реальности конца 2026 года. И эта позиция, если обязательно вслух, такая:
ААААААААААААААААААААААААААААААААААААААА
ААААААААААААААААААААААААААААААААААААААА
АААААААААААААААААААААААААААААААААА
Мне кажется, Сингулярность
уже началась; она просто ужасно неравномерно распределена. Да, я всё ещё разгружаю посудомойку и стригу ногти на ногах. С другой стороны, не думаю, что за оставшиеся мне годы мне снова доведётся доказать теорему, потому это действительно будет нужно. Только для моего или чужого удовольствия или просвещения.
Проверка такая: если бы мы взяли новости последних недель и отправили их на двадцать лет назад, согласился бы я, что это похоже на начало ИИ-Сингулярности? Честный ответ: да, безусловно. Ну вот и всё. Назад не отыграешь.
Мне кажется, всем было бы полезно перестать точить свои идеологические топоры, унять свои чувства о Дарио Амодее или Сэме Альтмане, хотя бы на время, чтобы просто признать:
чудеса и ужасы уже здесь. Яснее это не было бы, даже покрасней небо, как в
Матрице.
Это настолько очевидно, что теперь, укладывая своих детей спать, я чувствую эту пропасть в животе: какое будущее у них вообще может быть? Что они могут изучать сегодня, чтобы это имело к нему хоть какое-то отношение? (Вчера моя тринадцатилетняя дочь сама пошутила, что если она хочет стать математиком, то теперь, похоже, на это осталось где-то две недели.) Уж точно, когда мои аспиранты хотят обсудить, какая карьера может их потом ждать, я больше понятия не имею, что им сказать.
Может, лучше, если я на секундочку сменю тему. С тех пор как мы с женой переехали в Остин, меня иногда спрашивают что-то вроде «Как ты, и евреем, и учёный-скептик, вообще можешь ладить с этими техасскими христианами-евангелистами? Конечно, они могут
казаться очень дружелюбными к евреям, но разве не понимаешь, это только из-за особой роли евреев в их эсхатологии, где, когда Христос вернётся во славе, вы либо примете Его как Господа, либо будете вечно гореть в аду?». Я в ответ вылупляю глаза и говорю: «подождите, то есть мне можно принять Христа только
после Его возвращения? Вот это отличная сделка! Как я вообще могу быть против?».
Тем, кто говорит, что предсказания о погибели из-за ИИ звучат как апокалиптическая религия, что рационалисты/сингуляритарианцы похожи на любой культ из Залива Сан-Франциско, что у Элиезера Юдковского вайбы мессианского пророка: да, да и да. Но принципиально важно, что теперь вас просят верить не в аргументы и экстраполяции, а
лишь в новости с передовицы. Признать реальность приближающегося машинного бога
после того, как он решил Навье — Стокса и десятки других давних открытых математических проблем (при этом резко наращивая свои возможности каждый месяц), — это примерно как принять Иисуса,
уже вернувшегося на Землю на сияющем облаке. Это эпистемический минимум.
Да, остаётся мощнейшая неопределённость о том, как будет выглядеть оставшаяся часть нашей жизни, но, насколько я могу судить, больше нет никакой реальной неопределённости о том, что всё это будет в основном вращаться вокруг ИИ и того, насколько мы сумеем или не сумеем направить его силу на благо человечества.
По любому непредвзятому счёту, Элиезер Юдковский оказался
прав о том, каким будет величайший вызов, стоящий перед цивилизацией в наши дни, а мы с вами
ошибались.
Почему я ошибался — вопрос, который я буду задавать себе каждый день оставшегося мне времени. Но, знаете, по крайней мере я скорректировал свои взгляды, когда предсказанные чудеса и ужасы действительно начались! Если вы этого не сделали — почему?
