США и Китай готовятся обсуждать безопасность ИИ. По данным Reuters, ссылающегося на два осведомлённых источника, диалог запланирован на середину сентября. США хотят обсудить сотрудничество в отслеживании кибератак под управлением ИИ. Вашингтон предложил американским и китайским ИИ-лабораториям самостоятельно контролировать свои разработки и обмениваться информацией для предотвращения таких атак.

Американскую сторону также беспокоит возможное появление китайской модели уровня Claude Mythos, способной проводить кибератаки. С китайской стороны переговоры может возглавить вице-премьер He Lifeng.

За последнюю неделю китайский интернет-регулятор публично предупредил о «критических рисках потери контроля над ИИ». А связанный с государственными СМИ блог выступил с критикой позиции Anthropic, подчеркнув, что любые ограничения на передовой ИИ должны в равной степени распространяться на китайские и американские модели.

===

Логичный вопрос — может быть Китай просто хочет притвориться, что будет вводить какие-либо ограничения, а сам втопит газу? Так может произойти, поэтому важно прийти к мерам, подразумевающим недоверие сторон друг к другу. Такая схема была описана в сценарии AI 2040 (и она подразумевает работу в течении нескольких лет, не по щелчку пальцев).

По замыслу авторов, уверенность должна опираться на проверку. Страны декларируют крупные вычислительные мощности, сверяют производство и поставки чипов (благо сейчас >99% AI чипов выходят с одного производства — можно их начинать отслеживать прямо после схода с конвеера), допускают взаимные инспекции и проверки. Задача — ограничить объём неучтённых вычислений настолько, чтобы тайному проекту было трудно обогнать контролируемые разработки.

После того, как начнут отслеживать мощности — можно начинать мониторить тренировки самых крупных моделей, проводить аудиты, например, на закрытых бенчмарках. Но чтобы ко всему этому прийти — нужно начинать диалог с малого.