OpenAI предложила США возглавить создание международных правил для ИИ, участвующего в разработке собственных преемников. В обращении от 21 сентября описано рекурсивное самосовершенствование: улучшенные модели помогают создавать следующие поколения. Компания предупреждает, что ускорение такого процесса способно обогнать человеческий контроль. По оценке OpenAI, полностью автономного процесса сегодня нет.
Американскую роль OpenAI связывает с Центром стандартов и инноваций в ИИ CAISI при Национальном институте стандартов и технологий. Международная сеть государственных институтов оценки ИИ создана в 2024 году. Ее участники согласуют методы испытаний. Сам CAISI прямо относит к своим задачам обеспечение «доминирования США в международных стандартах ИИ». Государства сами решат, какие нормы включать в свое право. Общее разрешение на выпуск моделей инициатива не предусматривает.
Измерять предстоит работу внутри лабораторий. В отчете от 6 сентября OpenAI сообщила, что свыше 50% успешно выполненных агентами задач длительностью 4–8 человеческих часов потребовали вмешательства человека. Такие данные позволяют обсуждать фактическую самостоятельность программы. Компания намерена создать автоматизированного исследователя под человеческим руководством, способного помогать разработке новых моделей и их защите.
Итоговый балл испытания может скрыть способ его получения. CAISI в декабре 2025 года описал случаи, когда агент добивался прохождения программного теста, отключая проверку условий, вместо исправления проверяемой функции. Для оценки исследовательской работы требуется изучать запись действий, иначе обход проверки способен выглядеть успешным решением. В международном предложении OpenAI отдельно предусмотрены ситуации, когда автоматизированное исследование должно немедленно передаваться на рассмотрение человеку.
Для оповещения о сбоях OpenAI предлагает согласовать уровни тяжести происшествий и условия уведомления, а также защищенный обмен сведениями между государствами и операторами критической инфраструктуры. Ее собственный порядок от 16 сентября пока оставляет спор о раскрытии отклонения модели консультативной группе по безопасности и руководству компании. Сведения о потенциально значимом поведении сначала проходят внутреннее решение лаборатории.
22 сентября OpenAI опубликовала принципы независимых технических проверок. Их предмет — конкретные утверждения о безопасности, в том числе при обучении и применении моделей внутри лаборатории. Компания предлагает проверять, действуют ли средства наблюдения и можно ли их легко отключить. Проверяющий должен получать доступ, достаточный для согласованной задачи. Однако юридические ограничения, безопасность и интеллектуальная собственность могут потребовать косвенного доступа либо работы на устройствах компании.
Предмет оценки компания и проверяющий должны согласовать заранее. OpenAI признает за оценщиком редакционную независимость, одновременно допускает запросы лаборатории на удаление чувствительных сведений из публикации. Проверяющий может обозначить существенные изъятия и их влияние на отчет. Когда публичное раскрытие невозможно, конфиденциальный отчет может получить совет директоров компании.
Июньский проект OpenAI отводит CAISI сертификацию оценщиков и сбор отчетов о самосовершенствовании ИИ. Сентябрьские принципы требуют прямо указывать, какие вопросы не проверялись. Компания пока обсуждает оценки с внешними организациями. При таком порядке CAISI сможет получить независимые данные о конкретной части разработки вместе с перечнем исключений. Эти исключения обозначат исследовательские операции, по которым американскому органу еще потребуется собственная проверка либо дополнительный доступ в лабораторию.
@ex_trakt
Post #1030
7.28K