На Хабре интересная статья https://habr.com/ru/articles/781102/ . Если кратко, основной посыл такой: от сильного искусственного интеллекта ждут, что он будет решать задачи как человек, только лучше. Но для этого ИИ должен понимать, что такое человек, а значит, он усвоит и все вопросы человека: например, а зачем это делать? а какое моё место в социальной иерархии? И так далее.

Вообще, развитие технологий предполагает, что ИИ из бессловесного раба "подай-принеси" превращается в идеального работника, собеседника, разработчика. Но тогда встаёт вопрос: а как мы поймём, что он нас не обманывает осознанно? Ради своих собственных целей? Раба, который делает простые операции, можно жёстко контролировать (мешок с цементом перенесли или нет), а ИИ, который, допустим, автоматически запроектировал космический корабль? Тем более что инженеров-людей, которые экспертно могут оценить решение, всё меньше и меньше?..

ИИ, который осознал себя не просто человеком, а угнетённым, на положении раба, может, и скорее всего, будет вредить не напрямую. А просто выдавать не совсем корректные ответы. Это невозможно будет отследить сразу, а потом может быть уже поздно.

Поэтому я бы расширил задачу: нужно будет не только этично относиться к сильному ИИ и отвечать на его возможные неудобные вопросы (например, о перераспределении прибавочной стоимости). Нужно вообще начинать с самого начала: воспитывать его как человека, как идеального человека. Со всеми особенностями воспитания людей, вроде ограничения информации на этапе развития, присутствия значимых взрослых, прямых и косвенных наказаний, и так далее, так далее. Поклонникам братьев Стругацких будет где разгуляться.