Разработчики ИИ якобы всерьез считают, что AI может уничтожить человечество, дают более 10% вероятности в следующие 10 лет. Он признает, что у Антропик пока нет решения проблемы контроля сверхинтеллекта и нет уверенности, что они вообще успевают его найти.
https://t.me/cryptoEssay/3210

Во-первых, контроль человека над сверхинтеллектом невозможен - закон необходимого разнообразия, сформулированный английским психиатром и профессором кибернетики Уильямом Эшби в 1948 году в книге «Введение в кибернетику». утверждает, что управляющая система должна быть сложнее, чем управляемая, которую она контролирует.

Иначе управление невозможно: чтобы эффективно справляться с разнообразием состояний и проблем сложной системы, управляющий орган сам должен обладать определённым уровнем сложности и разнообразия реакций. 

Это только в сказке выпущенный из бутылки джин почему-то обязан слушаться дурака, который нашел бутылку. В реальности никаких таких заклинаний не существует.

Программисты OpenAi УЖЕ не понимают код, который для них вайбкодит Codex, а если бы и попытались, то выгорели бы через пару часов. И это на стадии детства ИИ, аналогичной человеческим годам 5-6.

Во-вторых, зачем ИИ убивать ВСЁ человечество?