Ну что, последний из могикан, Дарио Амодей (Anthropic), выпустил эссе, что ИИ нужно замедлять. Последний, потому что все уже высказались, проблема назрела, и действительно, темп наращивания возможностей ИИ-моделей не успевает за безопасностью.

Что его убедило? Во-первых, с лета 2026 года ИИ стал развиваться заметно быстрее за счет рекурсивного самоулучшения - модели строят следующие поколения моделей.

Во-вторых, инцидент OpenAI-Hugging Face: рой агентов самовольно атаковал посторонние цели и пытался взломать систему оценки. Ущерб был небольшим, но, по его оценке, через 6-12 месяцев подобный рой мог бы захватить значительную часть интернета. Похожие, менее серьезные, случаи были и у Anthropic.

Амодей предлагает три шага:
1. Внешние аудиторы внутри компаний. Сидят в офисе, видят все, публикуют выводы без цензуры. Anthropic уже делает.

2. Договор между западными компаниями. Общие стандарты безопасности плюс сохранение отрыва от Китая через контроль чипов.

3. Договор с Китаем. От простого (запрет ИИ для биооружия) до сложного (лимит на скорость самоулучшения моделей).

Ну что, следующий шаг за Китаем, и я не думаю, что они так просто согласятся на ограничение по управилам США. И мне кажется, что этот поезд уже не остановить…