если вы сейчас думаете, что я опять душню огромными цитатами, то просто знайте, что я бью себя по рукам, чтобы не кидать каждое третье сообщение сюда, а тихо пощу себе в заметки.

Поэтому нам нужно запрограммировать и возможность для дальнейшего развития человечества. Из всего, что я прочитал, лучшая попытка, на мой взгляд, принадлежит Элиэзеру Юдковскому. Он назвал это
Когерентной Экстраполированной Волей. Перед ИИ будет стоять следующая цель:

“Наша когерентная экстраполированная воля — это наше желание знать больше, думать быстрее, оставаться в большей степени людьми, чем мы были, стать ближе друг к другу, где наши мысли больше сближают, чем разделяют; где наши желания совпадают, а не пересекаются; получать такие результаты, которые мы бы хотели получать, толковать таким образом, каким мы бы хотели, чтобы это было истолковано”