p(doom)=10%, если кто не в курсе. Эксперты оценивают вероятность уничтожения человечества искусственным интеллектом в 10%.

Конечно, возникает много вопросов. Это консенсус? Нет, это медианное мнение. Хорошо, откуда тогда берут свои оценки отдельные эксперты? Перемножением других субъективных вероятностей? Насколько вообще это проверяемое утверждение, что p(doom)=10%? Уничтожение человечества — единоразовое событие, оно либо случается либо нет. Не то что бы такое часто случалось в прошлом. Не то что бы у нас был огромный компьютер, который мог бы симулировать человеческую цивилизацию во всех ее невообразимых подробностях, прогнать сто тыщ сценариев и увидеть, что человечество погибает в 10% случаев. Хм!…. А ведь было бы неплохо, если бы у нас на самом деле был такой компьютер!…

Я к тому, что как будто бы у нас нет особых оснований доверять этим оценкам. В них заложено бесконечное количество допущений, проверить их все мы не сможем. Солнце погаснет раньше. Никакого референс-класса для подобных событий в прошлом у нас тоже нет, ровно 0% апокалиптических прогнозов до сих пор сбылись. Даже если бы это был консенсус (а, я напомню, это даже не консенсус, это просто усреднение оценок) — это же не консенсус по поводу чего-то объективно измеримого. Мы не быка здесь взвешиваем, как в известном примере про «мудрость толпы». Это консесус по поводу степени того, насколько в точности «я так чувствую». Это не будет означать, что оценка вероятности близка к реальной вероятности.

Не поймите меня неправильно, их чувства реальны. Но это чувства, это не цифры. Нужно понимать, что в данном случае значение слова «вероятность» — это не фреквентистская вероятность прошлых событий и не откалиброванная байесовская вероятность, когда у нас уже есть класс подобных событий в прошлом. Это просто ощущение. Эпистемически это совсем другой объект, чем вероятность дождя завтра или дефолта компании в течение года.

«Но Алексей, ты же сам топил за то, что присваивать количественные оценки степени уверенности». Да, но это не оценка вероятность вымирания. Это оценка интенсивности опасений. Бывают люди, которые больше склонны бояться этого, а бывают — которые менее. Угадайте, которые из них более склонны снановиться исследователями в области безопасности ИИ. Эти 10% больше характеризуют степень параноидальности людей и сообществ, чем, собственно, вероятности вымирания. Я не говорю что параноидальность это всегда что-то плохое, на выживаемость параноидальность влияет скорее хорошо. Но на прогресс — плохо.

Я думаю, это случай, когда цифры уводят нас от истины в сторону ложной точности. У меня эта проблема в работе возникает каждый день: у человека, скажем, организованность в Хогане 80/100. Но я-то знаю, что в этих измерениях может быть до 30% случайного шума, есть она вполне может быть и 65. Когда я в профессональном контексте произношу фразу «у него организованность в Хогане 100», вокруг этой цифры мгновенно образуется заметное облако незнания. В непрофессиональном контексте мне вообще нет смысла использовать эти цифры. Мне придется делать к этим цифрам слишком много оговорок, объяснять что это не абсолютный балл, а перцентиль, что многое зависит от выборки, что есть погрешности измерений… Лучше мне просто сказать «выше среднего» или «сильно выше среднего». А в случае оценок риска ИИ мы даже не знаем, какова может быть погрешность измерений! Я думаю, в даннм случае было бы честно писать что-то вроде «субъективная вероятность на уровне единиц процентов» или «субъективно это скорее вероятно, чем нет».

Филипп Тетлок в знаменитой книжке Expert Political Judgement когда-то показал, что политические «эксперты»-обозреватели предсказывают события ничуть не лучше случайности — хотя все еще лучше, чем студенты, которые просто катастрофически предвзяты и поэтому хуже даже случайности. Усреднение оценок этих «экспертов» не дало бы нам никакой точности. У меня нет больших оснований думать, что исследователи безопасности ИИ чем-то лучше политических экспертов. Система, поведение которой они пытаются спрогнозировать, сложна до невероятности.