Дедуктивные умозаключения требуют отталкиваться в мышлении от теории. Например, мы знаем, сколько энергии выделяется при столкновении метеорита с землей в зависимости от его массы, так как мы можем опираться на физическую теорию, а значит, можем и понять, приведет ли столкновение того или иного астероида с планетой к глобальной катастрофе. Но для ИИ такой теории нет, а попытки прийти к ней через объем вычислений (мол, когда будет в нейронках параметров, как соединений в мозге, сразу возникнет AGI и начнет нас убивать) кажутся неубедительными.

Таким образом, у нас остаются только субъективные оценки (я художник, я так вижу). Эти оценки могут иметь как сами регуляторы, так и специалисты. Кроме специалистов, авторы рассматривают так называемых суперпрогнозистов – людей, которые статистически значимо умеют делать предсказания лучше, чем люди с улицы (NB: superforecasters – зарегистрированная торговая марка компании человека, который этот феномен придумал, описал, популяризовал и продает, так что тут допустима хорошая доля скепсиса). В конце 2022 года одна исследовательская организация провела многомесячное исследование, где эксперты, суперпрогнозисты и простые миряне предсказывали вероятность уничтожения человечества искусственным интеллектом. Разброс вероятностей, который виден на графике, достаточно красноречив сам по себе, но авторы очень подробно расписывают, почему даже такие оценки, не имея под собой никакой фактуры и будучи связанными с экстремально редкими событиями, являются лишь замаскированным под числа личным мнением. То, что суперпрогнозисты дают оценки ниже, связано с тем, что, во-первых, они специально обучаются не переоценивать вероятность маловероятных событий, во-вторых, среди «экспертов» по AI safety тебе необходимо заявлять, что ты считаешь p(doom) высокой, чтобы быть «своим».