Мы создаём интеллект, который может превзойти нас, меняем климат, переписываем геном, проектируем новые формы жизни. Ставки растут экспоненциально. А общепринятой системы координат для решений такого масштаба до сих пор не существует.

Пришло время её построить.

«Стратегия разума» — это попытка создать такую рамку. Не окончательную истину, а основу для обсуждения — проработанную достаточно, чтобы на неё опираться, и честную на столько, чтобы не притворяться завершённой.

Вот что удалось сделать:
-Построить новую этическую систему на устойчивом философском фундаменте (методологический физикализм, байесианское обновление и т.д.).
-Дать измеримые определения базовых оснований, потенциально пригодные для формальной верификации, — то, чего нет ни у одного из существующих подходов, даже тех что специально заточены под решение проблемы ИИ.
-Построить спектральную модель морального статуса, которая охватывает и животных, и младенца, и будущий сверхразумный ИИ.
-Предложить архитектуру безопасности, в которой исправимость для ИИ становится не пожеланием создателей, а эволюционно выигрышной стратегией, а ряд багов ИИ превращается в фичи и предохранители.
-Показать, как спроектировать среду, в которой даже не выровненный ИИ теряет стимулы к монополизации, а симуляция исправимости становится бессмысленной.
-Сформулировать позитивную ценность — то, ради чего стоит жить и всем этим заниматься.
-И главное — честно картографировать не только достигнутую определённость, но и фундаментальные трещины в наших знаниях. Мы не заметаем их под ковёр. Мы убеждены, что карта с честно обозначенными пропастями полезнее той, что притворяется полной.

Если вы чувствуете, что старые карты больше не работают, — возможно, эта окажется полезной.

Нам нужны те, кто готов проверить эту систему на прочность. Философы, разработчики, учёные — знакомьтесь, тестируйте, спорьте. Время, оставшееся для действий, не бесконечно.