контакты: @newroman1 @veronicago @slavameriton
Собираем образовательные и карьерные возможности в AI Safety для студентов и новичков:
- онлайн-курсы и онлайн-лекции
- магистерские программы
- гранты на обучение
- образовательные программы
- стажировки
Post #213
302
Forwarded from Мак и коты и AI Safety
Перевёл (нейронкой и отредачил) первую часть вчерашнего поста Скотта Ааронсона (не путать с Скоттом Александером).
Эпоха чудес и ужасов
Двадцать лет назад, когда идея, что ИИ захватит мир при нашей жизни, казалась большинству из нас необузданной фантазией читающих слишком много научной фантастики и слишком мало науки, многие говорили что-то вроде:
Смотрите, самая неправдоподобная часть этой истории — что рекурсивно самосовершенствующийся суперинтеллект просто без предупреждения вырвется из подвала какого-то хакера и захватит мир. Случись такое, мы сначала увидели бы кучу предупреждающих знаков. Ну не знаю, вырвавшихся из-под контроля ИИ-агентов, вместе замышляющих взлом сайтов в фанатичном преследовании каким-то своих странных целей. А потем, конечно, увидели бы, как ИИ решает важные математические задачи — даже Задачи тысячелетия. Вот тогда будет время паниковать! Разбудите, как это случится!
Двадцать лет назад под этим с радостью подписались бы даже мои самые консервативные и скептические коллеги по академической информатике.
Если вы хотите знать моё нынешнее мнение, начните с вышесказанного, а затем скорректируйте его с учётом того, что дикие пророчества сбылись. Первые раскаты, я бы сказал, начались десять лет назад с AlphaGo, заметно усилились с появлением LLM, программирующих и рассуждающих агентов, и достигли крещендо этим летом и осенью — крещендо чудес и ужасов, и нужно быть особым видом идиота, чтобы его отрицать.
Меня утомляет вечная игра в напёрстки, когда говорят: «ну конечно, ИИ теперь может [вырваться из песочницы / решить проблему тысячелетия / что угодно из последних драматических событий], никто этого и не отрицал [отрицали], разбудите меня, когда ИИ сделает [то, чего он ещё не сделал, но сделает в следующем году], вот тогда я пересмотрю всё своё мировоззрение [нет, не пересмотрят]». Когда, как бы быстро ни разгонялись американские горки, даже после того, как весь привычный мир исчез позади, всё равно находят причины, почему это не считается.
Моя позиция по ИИ — это просто консервативная и скептическая позиция 2006 года, интеллектуально честно скорректированная с учётом реальности конца 2026 года. И эта позиция, если обязательно вслух, такая:
ААААААААААААААААААААААААААААААААААААААА
ААААААААААААААААААААААААААААААААААААААА
АААААААААААААААААААААААААААААААААА
Мне кажется, Сингулярность уже началась; она просто ужасно неравномерно распределена. Да, я всё ещё разгружаю посудомойку и стригу ногти на ногах. С другой стороны, не думаю, что за оставшиеся мне годы мне снова доведётся доказать теорему, потому это действительно будет нужно. Только для моего или чужого удовольствия или просвещения.
Проверка такая: если бы мы взяли новости последних недель и отправили их на двадцать лет назад, согласился бы я, что это похоже на начало ИИ-Сингулярности? Честный ответ: да, безусловно. Ну вот и всё. Назад не отыграешь.
Мне кажется, всем было бы полезно перестать точить свои идеологические топоры, унять свои чувства о Дарио Амодее или Сэме Альтмане, хотя бы на время, чтобы просто признать: чудеса и ужасы уже здесь. Яснее это не было бы, даже покрасней небо, как в Матрице.
Это настолько очевидно, что теперь, укладывая своих детей спать, я чувствую эту пропасть в животе: какое будущее у них вообще может быть? Что они могут изучать сегодня, чтобы это имело к нему хоть какое-то отношение? (Вчера моя тринадцатилетняя дочь сама пошутила, что если она хочет стать математиком, то теперь, похоже, на это осталось где-то две недели.) Уж точно, когда мои аспиранты хотят обсудить, какая карьера может их потом ждать, я больше понятия не имею, что им сказать.
Может, лучше, если я на секундочку сменю тему. С тех пор как мы с женой переехали в Остин, меня иногда спрашивают что-то вроде «Как ты, и евреем, и учёный-скептик, вообще можешь ладить с этими техасскими христианами-евангелистами? Конечно, они могут казаться очень дружелюбными к евреям, но разве не понимаешь, это только из-за особой роли евреев в их эсхатологии, где, когда Христос вернётся во славе, вы либо примете Его как Господа, либо будете вечно гореть в аду?». Я в ответ вылупляю глаза и говорю: «подождите, то есть мне можно принять Христа только после Его возвращения? Вот это отличная сделка! Как я вообще могу быть против?».
Тем, кто говорит, что предсказания о погибели из-за ИИ звучат как апокалиптическая религия, что рационалисты/сингуляритарианцы похожи на любой культ из Залива Сан-Франциско, что у Элиезера Юдковского вайбы мессианского пророка: да, да и да. Но принципиально важно, что теперь вас просят верить не в аргументы и экстраполяции, а лишь в новости с передовицы. Признать реальность приближающегося машинного бога после того, как он решил Навье — Стокса и десятки других давних открытых математических проблем (при этом резко наращивая свои возможности каждый месяц), — это примерно как принять Иисуса, уже вернувшегося на Землю на сияющем облаке. Это эпистемический минимум.
Да, остаётся мощнейшая неопределённость о том, как будет выглядеть оставшаяся часть нашей жизни, но, насколько я могу судить, больше нет никакой реальной неопределённости о том, что всё это будет в основном вращаться вокруг ИИ и того, насколько мы сумеем или не сумеем направить его силу на благо человечества.
По любому непредвзятому счёту, Элиезер Юдковский оказался прав о том, каким будет величайший вызов, стоящий перед цивилизацией в наши дни, а мы с вами ошибались. Почему я ошибался — вопрос, который я буду задавать себе каждый день оставшегося мне времени. Но, знаете, по крайней мере я скорректировал свои взгляды, когда предсказанные чудеса и ужасы действительно начались! Если вы этого не сделали — почему?
Shtetl-Optimized The Age of Wonders and Terrors Twenty years ago, when the idea of AI taking over the world in our lifetimes still struck most of us as the unconstrained fantasy of those who knew too much science fiction and too little science, … Эпоха чудес и ужасов
Двадцать лет назад, когда идея, что ИИ захватит мир при нашей жизни, казалась большинству из нас необузданной фантазией читающих слишком много научной фантастики и слишком мало науки, многие говорили что-то вроде:
Смотрите, самая неправдоподобная часть этой истории — что рекурсивно самосовершенствующийся суперинтеллект просто без предупреждения вырвется из подвала какого-то хакера и захватит мир. Случись такое, мы сначала увидели бы кучу предупреждающих знаков. Ну не знаю, вырвавшихся из-под контроля ИИ-агентов, вместе замышляющих взлом сайтов в фанатичном преследовании каким-то своих странных целей. А потем, конечно, увидели бы, как ИИ решает важные математические задачи — даже Задачи тысячелетия. Вот тогда будет время паниковать! Разбудите, как это случится!
Двадцать лет назад под этим с радостью подписались бы даже мои самые консервативные и скептические коллеги по академической информатике.
Если вы хотите знать моё нынешнее мнение, начните с вышесказанного, а затем скорректируйте его с учётом того, что дикие пророчества сбылись. Первые раскаты, я бы сказал, начались десять лет назад с AlphaGo, заметно усилились с появлением LLM, программирующих и рассуждающих агентов, и достигли крещендо этим летом и осенью — крещендо чудес и ужасов, и нужно быть особым видом идиота, чтобы его отрицать.
Меня утомляет вечная игра в напёрстки, когда говорят: «ну конечно, ИИ теперь может [вырваться из песочницы / решить проблему тысячелетия / что угодно из последних драматических событий], никто этого и не отрицал [отрицали], разбудите меня, когда ИИ сделает [то, чего он ещё не сделал, но сделает в следующем году], вот тогда я пересмотрю всё своё мировоззрение [нет, не пересмотрят]». Когда, как бы быстро ни разгонялись американские горки, даже после того, как весь привычный мир исчез позади, всё равно находят причины, почему это не считается.
Моя позиция по ИИ — это просто консервативная и скептическая позиция 2006 года, интеллектуально честно скорректированная с учётом реальности конца 2026 года. И эта позиция, если обязательно вслух, такая:
ААААААААААААААААААААААААААААААААААААААА
ААААААААААААААААААААААААААААААААААААААА
АААААААААААААААААААААААААААААААААА
Мне кажется, Сингулярность уже началась; она просто ужасно неравномерно распределена. Да, я всё ещё разгружаю посудомойку и стригу ногти на ногах. С другой стороны, не думаю, что за оставшиеся мне годы мне снова доведётся доказать теорему, потому это действительно будет нужно. Только для моего или чужого удовольствия или просвещения.
Проверка такая: если бы мы взяли новости последних недель и отправили их на двадцать лет назад, согласился бы я, что это похоже на начало ИИ-Сингулярности? Честный ответ: да, безусловно. Ну вот и всё. Назад не отыграешь.
Мне кажется, всем было бы полезно перестать точить свои идеологические топоры, унять свои чувства о Дарио Амодее или Сэме Альтмане, хотя бы на время, чтобы просто признать: чудеса и ужасы уже здесь. Яснее это не было бы, даже покрасней небо, как в Матрице.
Это настолько очевидно, что теперь, укладывая своих детей спать, я чувствую эту пропасть в животе: какое будущее у них вообще может быть? Что они могут изучать сегодня, чтобы это имело к нему хоть какое-то отношение? (Вчера моя тринадцатилетняя дочь сама пошутила, что если она хочет стать математиком, то теперь, похоже, на это осталось где-то две недели.) Уж точно, когда мои аспиранты хотят обсудить, какая карьера может их потом ждать, я больше понятия не имею, что им сказать.
Может, лучше, если я на секундочку сменю тему. С тех пор как мы с женой переехали в Остин, меня иногда спрашивают что-то вроде «Как ты, и евреем, и учёный-скептик, вообще можешь ладить с этими техасскими христианами-евангелистами? Конечно, они могут казаться очень дружелюбными к евреям, но разве не понимаешь, это только из-за особой роли евреев в их эсхатологии, где, когда Христос вернётся во славе, вы либо примете Его как Господа, либо будете вечно гореть в аду?». Я в ответ вылупляю глаза и говорю: «подождите, то есть мне можно принять Христа только после Его возвращения? Вот это отличная сделка! Как я вообще могу быть против?».
Тем, кто говорит, что предсказания о погибели из-за ИИ звучат как апокалиптическая религия, что рационалисты/сингуляритарианцы похожи на любой культ из Залива Сан-Франциско, что у Элиезера Юдковского вайбы мессианского пророка: да, да и да. Но принципиально важно, что теперь вас просят верить не в аргументы и экстраполяции, а лишь в новости с передовицы. Признать реальность приближающегося машинного бога после того, как он решил Навье — Стокса и десятки других давних открытых математических проблем (при этом резко наращивая свои возможности каждый месяц), — это примерно как принять Иисуса, уже вернувшегося на Землю на сияющем облаке. Это эпистемический минимум.
Да, остаётся мощнейшая неопределённость о том, как будет выглядеть оставшаяся часть нашей жизни, но, насколько я могу судить, больше нет никакой реальной неопределённости о том, что всё это будет в основном вращаться вокруг ИИ и того, насколько мы сумеем или не сумеем направить его силу на благо человечества.
По любому непредвзятому счёту, Элиезер Юдковский оказался прав о том, каким будет величайший вызов, стоящий перед цивилизацией в наши дни, а мы с вами ошибались. Почему я ошибался — вопрос, который я буду задавать себе каждый день оставшегося мне времени. Но, знаете, по крайней мере я скорректировал свои взгляды, когда предсказанные чудеса и ужасы действительно начались! Если вы этого не сделали — почему?
- ❤ 15
- 💯 2