Джеффри Хинтон:

Единственный пример, когда менее интеллектуальное существо контролирует более интеллектуальное - это ребенок и его мать.

Чтобы ребенок мог контролировать мать эволюция вложила много усилий - плач или боль ребенка невыносимы его матери из-за гормональных эффектов и т.д.

Поэтому верная метафора отношений нас и сверхинтеллекта, это не капитан, контролирующий всемогущего ассистента, а ребенок (мы) и его мать (ИИ).

Но для этого нам нужно изменить то, как мы думаем о проблеме