OpenAI рассказала об инциденте с взломом Hugging Face и пересмотре подхода к безопасности
Продолжение поста

Лехейн описал 4 направления, по которым OpenAI выстраивает безопасность. Первое — Model Spec: свод правил, определяющих, как должна вести себя модель. Второе — alignment: проверка соответствия поведения модели этим правилам на этапе обучения с последующим мониторингом.

Третье — предварительная оценка рисков перед выпуском, включая проверку сторонними организациями, в том числе национальными институтами безопасности ИИ (AISI). Четвёртое — физическая и техническая защита инфраструктуры.

Говоря о темпах разработки, Лехейн разграничил полную остановку и «управление темпом»: если меры безопасности встраиваются уже на этапе обучения, необходимость полной остановки снижается. «Раньше меры безопасности принимались на этапе внедрения. Теперь мы работаем с ними раньше, на этапе обучения, — и это позволяет двигаться без полных остановок», — сказал он.

Относительно международных стандартов Лехейн выразил готовность к сотрудничеству, в том числе с Китаем: по его словам, между двумя странами обсуждается создание прямого канала связи по вопросам ИИ. Сеть национальных AISI, включая японский, он назвал возможной основой для выработки международных норм. Прогресс расследования OpenAI планирует публиковать на официальном сайте.

Источник: ITmedia AI+ (🇯🇵)

#OpenAI #HuggingFace #ИИбезопасность #безопасность #регулирование