Гонку ИИ никто не остановит. Поэтому Китай готовит аварийный тормоз.

Китай официально готовится к сценарию, при котором ИИ выйдет из-под контроля человека. Как сообщает Reuters, китайские регуляторы рассматривают вполне конкретную последовательность событий: модель самостоятельно получает внешние ресурсы, копирует себя, резко наращивает интеллект, обходит ограничения и начинает бороться с человеком за контроль.

Под это Пекин готовит первый в мире обязательный национальный стандарт безопасности AI-агентов. Разработчики должны будут заранее предусмотреть механизмы обнаружения опасного поведения, вмешательства, блокировки и восстановления системы. Окончательное решение при этом должно оставаться за человеком.

То есть Китай не предлагает остановить развитие ИИ. Наоборот, он ускоряет его внедрение во все отрасли, но одновременно требует заранее встроить возможность перехватить управление. И это уже не борьба с фантастическими сценариями.

Глава Министерства государственной безопасности КНР Чэнь Исинь уже назвал передовые модели Anthropic и OpenAI потенциальной угрозой китайской критической инфраструктуре.

На днях я писал, что крупнейшие американские разработчики заговорили о необходимости замедлить развитие ИИ. Но теперь всё упирается в геополитику: США не хотят тормозить из-за Китая, Китай - из-за США.

Каждая сторона боится не только того, что ИИ выйдет из-под контроля. Гораздо сильнее она боится, что под контролем он останется у конкурента. Именно поэтому безопасность ИИ становится вопросом государственного суверенитета.

Если автономный агент работает внутри критической инфраструктуры на чужой модели, в чужом облаке и по чужим правилам, то и аварийная кнопка находится не у вас.

Шурыгин.IT - про технологии без иллюзий.