На одной из недавних встреч дискуссионного клуба мы обсудили статью шведского философа Ника Бострома "Crucial Considerations and Wise Philanthropy" (Ключевые соображения и мудрая филантропия). Ниже мы собрали саммари ключевых идей и концепций из статьи — они будут интересны тем, кто размышляет о снижении рисков глобальных катастроф и безопасности технологий:

• Ключевые соображения (crucial considerations) — это аргументы, которые меняют наши выводы о том, куда лучше прилагать усилия, наши приоритеты или ожидаемую полезность достижения цели. Бостром приводит метафору с путешественником в лесу: он может долго размышлять, сколько взять воды и еды, но если неисправен компас, то все приоритеты меняются. «Мой компас неисправен» — ключевое соображение в этом контексте.

• Последовательность ключевых соображений создает лестницу размышлений (deliberation ladder). Например, стоит ли ускорить исследование нанотехнологий? «Да, ведь они полезны для медицины и чистой энергетики». «Но ведь их могут использовать как оружие». «Да, но если мы бросим работу, менее ответственные люди создадут технологию раньше». «С другой стороны, мы уже их опережаем». И т.д.

• Для максимизации личной функции полезности (здоровье, успешная карьера) существует богатый личный опыт миллиардов людей. Здесь редко встречаются ключевые соображения, разворачивающие нашу логику на 180 градусов. Но когда мы рассуждаем о будущем цивилизации в космических масштабах на протяжении сотен и тысяч лет, или переживаем поворотный момент в истории, возникает множество ключевых соображений.

• Бостром проводит аналогию между развитием человечества и полетом на ракете. У неё есть два стабильных состояния: на стартовой площадке и в открытом космосе. В плотных слоях атмосферы она подвергается значительным нагрузкам. В контексте устойчивого развития мы часто думаем про снижение потребления и ограничение роста — хотим снизить подачу топлива, хотя может быть разумней повысить её, чтобы достичь более стабильного состояния (например, колонизация других планет поможет снизить риски вымирания из-за астероидов или внутренних конфликтов). Есть границы применения этой метафоры, но она показывает разницу между статической (остаться в текущем состоянии) и динамической стабильностью (быстрее достичь более безопасного состояния).

• Принцип Максипока как основа утилитаристской функции полезности: максимизировать вероятность позитивного исхода, где «позитивный исход» — это отсутствие глобальной катастрофы и вымирания человечества.

• Это может означать, что следует форсировать развитие технологий, повышающих безопасность (познавательная способность человека, контроль над ИИ — о последнем Бостром говорил в своем выступлении на TED), и замедлить развитие тех, что могут выйти из под контроля (нанотехнологии, тот же ИИ), а также развивать международную кооперацию.

• Важно аккуратно размышлять о ключевых соображениях, вносить небольшие правки в ожидаемую полезность действий под влиянием новых аргументов, и учитывать моральную неопределенность (moral uncertainty): помимо утилитаризма существует множество этических теорий, и нет ни одной «правильной».