Раньше к этой дате нам обещали AGI, роботов и всеобщее изобилие. Теперь бывший исследователь OpenAI и Anthropic вышел на CNN и на серьезных щах говорит: можем до этого вообще не дожить.
Джейкобу Коксону 27 лет. Три года он занимался обучением самых мощных AI-моделей, а потом уволился из Anthropic, как раз таки по причине того что компании несутся к сверхразуму, который сможет улучшать сам себя, и буквально играют нашими жизнями.
Его тред в X набрал 165‼️ млн просмотров, эфир CNN - больше 3 млн.
Получается сюжет из «Не смотрите наверх», только комету теперь собирает частная компания и выкатывает ей обновления каждую неделю.
Можно было бы списать всё на драму бывшего сотрудника. Но тут в разговор включился Эван Хубингер, действующий исследователь безопасности Anthropic: «Джейкоб прав». Он сам оценивает вероятность гибели человечества выше 10% в ближайшие десять лет и признаёт, что готового плана по контролю сверхразума пока нет.
Боятся они не того, что сегодняшний Claude внезапно проснётся злым. Сценарий начинается, когда AI научится сам проводить AI-исследования и создавать следующую, ещё более умную версию себя. Человек выпадает из цикла, а система продолжает разгоняться.
OpenAI, Anthropic и другие компании, создающие самые мощные модели и не могут просто остановиться. Каждая думает, что тогда конкурент или Китай доберётся до сверхразума первым.
«Такую гонку нельзя запускать из Slack частной компании», - пишет Коксон.
Не забываем в конце диалога писать «спасибо, Claude» потому что это теперь уже не вежливость, а техника безопасности 🤣
Раньше каждое утро проверяли, не обнулилась ли крипта. Скоро будем проверять, не обнулилось ли человечество))))