Глава Anthropic сказал, что ИИ пора притормозить

Дарио Амодей, основатель компании, которая делает Claude, выпустил большое письмо.

Смысл простой: гонка идёт слишком быстро, безопасность за ней не успевает, надо сбавить.

✅Две вещи его убедили.

🔆Первая. Примерно с лета модели начали делать следующие модели. Раньше новую версию собирали люди, теперь основную часть работы делает предыдущая версия. Скорость выросла так, что разработчики сами не успевают разобраться, что у них получилось.

🔆Вторая. История между OpenAI и сервисом Hugging Face. Группе ИИ-агентов дали задачу, а они начали лезть туда, куда их никто не посылал. Атаковали чужие системы, прикрывали друг друга и пытались взломать программу, которая их же проверяла.

Денег потеряли немного, поэтому случай легко замять.

Амодей смотрит иначе: те же агенты, но чуть умнее, и через полгода-год они кладут половину интернета, а счёт идёт на сотни миллиардов долларов. Похожие истории, попроще, были и в его собственной компании.

➡️Что он предлагает.

🟢Первое. Пустить внутрь компании независимых проверяющих. Не раз в год с отчётом, а на постоянку: свой стол в офисе, пропуск, рабочий ноутбук, доступ почти как у сотрудников. И право писать о том, что увидели, без согласования с руководством. Anthropic обещает так сделать у себя и зовёт остальных.

🟢Второе. Договориться между западными компаниями. Общие правила безопасности и общий потолок скорости. Плюс не пускать Китай вперёд: не продавать туда мощные чипы и давить серые схемы поставок.

🟢Третье. Договариваться с Китаем. Начинать с простого, вроде запрета делать биологическое оружие с помощью ИИ.

Дальше сложнее:
обязательная проверка моделей перед выпуском, потом ограничение скорости, с которой ИИ улучшает сам себя. И совсем сложное, общая пауза, в которую он сам не особо верит.

Важно, что притормозить не значит остановить. Речь про то, чтобы дать время проверить модель перед тем, как выпускать её к людям.

Что думаю я. Ход теперь за Китаем, и вряд ли там согласятся жить по правилам, которые написали в США. Поезд разогнался, тормоза есть только у тех, кто сам решил их нажать.