Недавно читал два текста о перспективах ИИ, один позитивный и оптимистичный, другой негативный и пессимистичный.


Денис Варванетс:

"Вот к чему я вас призываю, так это рефлексировать над жесткопрописанными жизненными сценариями. С глубокого детства мы знаем, что где-то после 60 ты уже дед, и больной пенсионер, и что после университета следует многолетняя карьерная лестница, и что надо десятилетиями откладывать «на старость». Много подобных конструкций впитывались нами с рождения всевозможными (консервативными) системами мозга и они словно аксиомы не требуют доказательств и подвергать их сомнению как будто признак в лучшем случае наивности, в худшем психрасстройства.

Но есть один момент: 2 года назад самый лучший ИИ (в которого было вложено миллиарды долларов и мегаватты энергии) считал, что 9.11 больше, чем 9.9, и что в слове strawberry 2 буквы r. Сегодня они совершают математические прорывы круче, чем Terrence Tao (OpenAI astra) и находят баги в коде лучше топ экспертов по кибер безопасности (anthropic mythos). И вот этот сверхпрорыв лишь капля в море по сравнению с тем, что будет, когда ИИ начнет полностью улучшать сам себя. Пока что это только онлайн, но очень скоро к вам в дверь постучат, вы ее откроете и там будет стоять робот и принесет вам средство, вколов которое у вас омолодится внешность.

Уйдет в прошлое безграмотность - ребенка в Африке будут учить не как сегодня (ударом змеей за неверно произнесенное слово), а лучше лиги плюща.

Уйдет выживальческая бедность - есть четкая взаимосвязь между генерацией энергии и ввп на душу населения, а первые термоядерные электростанции (spare/arc) подключенные к сети уже строятся

Уйдут аборты - вместо убийства эмбриона его просто помещают в биореактор доращиваться

Уйдут болезни (особенно хронические) и старение

И тогда нам придется заново учиться жить. Понимать, что эти сверх очевидные консервативные жизненные сценарии устарели и все будет совсем иначе. Многие вещи, которые мы считаем законами жизни, на самом деле являются законами прежнего технологического режима."



Вэй Дай:

"Способность действовать с расчётом на очень далёкую перспективу / стратегическая компетентность практически отсутствует у людей — даже у самых умных. За очень редкими исключениями миллиардеры тратят или раздают свои деньги бессистемно; философы не утруждают себя размышлениями о долгосрочных последствиях ИИ для создания философских идей — как положительных, так и отрицательных; Теренс Тао проводит своё время, получая удовольствие от абстрактной математики, вместо того чтобы заниматься чем-либо хотя бы отдалённо напоминающим инструментальную конвергенцию. Вопреки моим юношеским ожиданиям (после прочтения Вернора Винджа), не существует университетских кафедр, заполненных супергениями, которые прокладывали бы для человечества путь к безопасному прохождению через Сингулярность.

Помимо этого, у людей есть множество других проблем, связанных с безопасностью: мы плохо разбираемся в философии, нами легко манипулировать, наши ценности странны и нестабильны, и мы склонны игнорировать риски, которые сами создаём (поскольку признание этих рисков могло бы повредить нашему статусу). Поэтому, если попытаться повысить способность людей эффективно добиваться своих целей, скорее всего, в результате просто получится больше людей вроде основателей FTX и OAI [OpenAI].

А что насчёт помощи со стороны ИИ? Похоже, ИИ страдают от многих тех же проблем безопасности, но в ещё более выраженной форме. Например, нынешние способности ИИ ещё сильнее смещены в сторону краткосрочных, легко проверяемых задач — таких как математика и программирование. Они, похоже, ещё более склонны манипулировать системой вознаграждений, ещё хуже справляются с философией и могут обладать ещё более чуждыми человеку ценностями и т. д.

Проблемы безопасности как ИИ, так и людей, по-видимому, тесно взаимосвязаны. Иными словами, существует множество различных проблем безопасности, при которых решение одних проблем без одновременного решения остальных способно ухудшить ситуацию в целом. (Например, решение проблемы согласования намерений ИИ с человеческими позволяет человечеству с помощью ИИ причинить самому себе ещё больший вред, если ИИ при этом не способен оказывать компетентную стратегическую и философскую помощь. Однако повышение стратегической компетентности ИИ увеличивает риск того, что несогласованный с человеческими интересами ИИ сможет легче захватить контроль.) Чтобы распознать эту взаимосвязь и правильно с ней справиться, требуется высокий уровень стратегической компетентности — именно то, чего у нас нет.

Я поддерживал идею приостановки/остановки развития ИИ, чтобы выиграть время для усиления человеческого интеллекта и/или исследований в области безопасности ИИ. Однако я всё больше склоняюсь к мысли, что даже этого будет недостаточно для обеспечения хорошего долгосрочного будущего, поскольку подобные меры, даже в случае успеха, скорее всего, решат лишь часть этих взаимосвязанных проблем безопасности. Например, повышение человеческого интеллекта, вероятно, увеличит наши технические способности сильнее, чем философскую и стратегическую компетентность. Кроме того, оно несёт и другие риски из-за проблем человеческой безопасности, которыми практически никто не занимается, например статусной конкуренции. Даже чрезвычайно долгая пауза в развитии ИИ — скажем, на тысячи или миллионы лет — может оказаться недостаточной, поскольку непонятно, какая именно динамика заставила бы человечество в конечном итоге решить все свои проблемы безопасности одновременно, прежде чем оно совершит что-нибудь другое, имеющее необратимые разрушительные последствия.

У меня нет хороших идей относительно того, что со всем этим делать. Я просто хотел поделиться обновлением своих нынешних взглядов, своей собственной «ситуационной осведомлённостью», если угодно. (Полагаю, я всё ещё в некоторой степени поддерживаю паузу в развитии ИИ — хотя бы для того, чтобы отложить проблему и выиграть ещё немного времени на размышления.)"


Естественно, если вы сами не поняли, то Вэй Дай - красавчик, а Денис Варванетс - тупейший долбоеб с одной извилиной. Самое ужасное открытие в этом мире, ну окей, не самое ужасное, но одно из самых ужасных, что у политических и интеллектуальных элит нет никакого плана - они так же просыпаются с утра и думают о том, как им потрахаться или смотрят тик-токи полдня.

А технологические и политические процессы происходят хаотично и произвольно.