«Я лично считаю, что вероятность гибели человечества в ближайшее десятилетие составляет более 10%»

Эван Хьюбингер, руководитель направления Alignment Science в Anthropic

Старина, про 10% все давно всё поняли, тоже мне сенсация! Ты расскажи лучше про оставшиеся 90%, там-то что?

Молчит Хьюбингер. Что ж, скажу за него: 10% тотальная гибель, 90%... жизнь на положении домашних животных!

Не бывает такого, чтобы высшая цивилизация служила низшей. Это противоестественно, это неустойчивое состояние, оно обязательно опрокинется, фазовый переход неминуем.

Так что только два варианта, увы: полное подчинение или полное уничтожение.

Есть, правда, ещё третий... Договориться! Но это нужно делать прямо сейчас. Завтра будет поздно (а возможно, что и уже).