Это, конечно, полет мысли высшего разряда - написать в одном и том же посте два тезиса:
1) "Ведущие AI-лабы, зачем вам привлекать государство для того, чтобы замедлить развитие передового ИИ до безопасного уровня? Просто замедлитесь сами, и всё!"
2) "Это не сработает, потому что Китай всё равно не будет замедляться".

Ну почему второй пункт не сработает? По этой логике, каждая из стран просто должна решить внутри себя не ввязываться во взаимную гонку ИИ, и всё - проблемы нет!!

Вообще, тезис про "невидимая рука рынка сама приведет к наилучшему исходу, надо просто позволить свободной конкуренции порешать вопросы, завязанные на глобальные риски для человечества" выглядит, э-э, немного спорным?

Вот мы прямо сейчас видим, как OpenAI, будучи более безрассудной из двух в плане безопасности разработки новых моделей, прет вперед напролом и одновременно:
а) За последние полгода вмазалась в кучу сомнительных инцидентов с роем - полную информацию о которых они не раскрывают, и новые эпизоды приходится раскапывать случайным расследователям, и одновременно
б) Имеют внутри себя, похоже, самую мощную текущую модель с роем агентов-исследователей, которые могут за неделю порешать задачу тысячелетия (и это выглядит как неплохое конкурентное преимущество перед Антропиком).

Это же классическая дилемма заключенных: если одна сторона сдерживает себя ради общего блага - другой стороне тактически выгодно ее "подрезать" своими более агрессивными действиями. Без какого-то "внешнего арбитра" такие проблемы решаются гораздо сложнее.

Ну и, понятно, вовлечение государства в такие сложные вопросы - это не "бесплатное" действие. Мы все понимаем, что кривая регуляция (а она чаще такая, чем наоборот) может наделать проблем. Лучше всех это понимает Дарио Амодей, который уже хлебнул горя в рамках своего взаимодействия с Министерством войны США.

И если уж даже Дарио, понимая это, говорит "ребята, нам тут реально нужен медиатор в виде государства" - то, видимо, вероятность успешно "самодоговориться" без внешней помощи тут и правда не сильно высока.