Наконец-то посмотрел короткометражку "Король и Голем".
Она в последних кадрах ставит экзистенциальный вопрос сосуществования ИИ и человека.
Король приходит к логической дилемме: может ли он доверять Голему? Проверкой служит отправка Голема на смерть. В итоге король отказывается уничтожить ИИ. На русском можно смотреть через яндекс браузер.

С одной стороны, в этой ситуации Голему можно доверять: если задача Голема — исключительно следовать приказам, король может быть уверен в его предсказуемости. Такой Голем выполняет свою функцию как инструмент.

Нельзя доверять полностью: Голем, способный уничтожить себя, лишён самостоятельной оценки ценности своей миссии. Это делает его менее адаптивным и потенциально опасным, если команда ошибочна или дана сгоряча.

Как следствие, отсутствие самосохранения означает, что он может быть использован как оружие для разрушения.

Разные инструкции в этой ситуации либо ставят ИИ под контроль человека или группы людей. В этом случае слепое повиновение, где Голем не способен принимать решения, приводит к тому, что он будет выполнять любые, в том числе ошибочные, указания.

И нам нужно снова создавать Голема зависящего от языка и письменности.