Вадим Юрьевич очень хорошо написал.

Ну и ещё момент. Если перед нами действительно уже «суперинтеллект», которому потенциально можно доверить огромную часть человеческих решений, то довольно странно оставлять контроль за ним в основном самим создателям. А если это всё ещё просто очень мощная технология, которую разработчики способны нормально контролировать сами, то зачем государству заранее присваивать ей статус «суперразума»?

В обоих случаях бигтехи постепенно превращаются из производителей технологии в институт, которому общество делегирует право объяснять, что эта технология собой представляет, насколько она опасна и как именно её следует контролировать.