Пиратская партия России | официальный канал. Публикуем новости партии, общественные и политические события, мнения. Публичный чат @chatppru
Наш сайт — pirate-party.ru
начать диалог с редакторами канала — @pprfeedback_bot
Post #8281
266
Что не так с безопасностью открытого ИИ по мнению правительства Великобритании
Британский Департамент цифровых технологий, культуры, СМИ и спорта совместно с Департаментом науки, инноваций и технологий опубликовал исследование кибербезопасности открытого программного обеспечения и открытого ИИ. Исследование подготовил Университет Гринвича. Авторы проанализировали 14 561 академическую публикацию, из которых 43 прошли отбор, а также 172 источника так называемой «серой литературы» - отчёты государственных органов, стандарты, рекомендации отраслевых организаций и другие материалы. Отдельно исследовались GitHub и Hugging Face.
Одна из главных проблем, которую отмечают авторы, - отсутствие единого понимания того, что именно считать открытым ИИ. Для программного обеспечения существует достаточно устоявшееся определение Open Source Initiative. Для ИИ конкурируют как минимум три подхода: открытый исходный код, открытые веса модели и более широкое понимание открытости, включающее данные, инструменты и процесс разработки.
При этом открыть веса модели недостаточно для того, чтобы понять, откуда взялось её поведение. В случае ИИ важны не только исходный код, но и обучающие данные, происхождение модели, история дообучения, инструменты разработки и сами веса. Среди специфических угроз исследование называет отравление датасетов, изменение весов модели, небезопасное дообучение и отсутствие возможности проследить происхождение модели.
Авторы отдельно обращают внимание на разрыв между привычным пониманием open source и тем, что сегодня называют open-source AI. В качестве наиболее полного подхода они рассматривают Open Source AI Definition 1.0, согласно которому должны быть доступны сведения об обучающих данных, исходный код и параметры модели. При таком подходе одной публикации весов недостаточно.
Есть и довольно показательная цифра. Среди 10 000 наиболее скачиваемых моделей на Hugging Face с разрешительными открытыми лицензиями только 15 имели в описании сведения, относящиеся к безопасности, - менее 0,2%. В исследованных примерно 2 000 GitHub-репозиториях, связанных одновременно с ИИ и безопасностью, содержательная информация по безопасности обнаружилась только в 131 репозитории - около 6%.
Для обычного открытого ПО проблема безопасности уже хорошо изучена: существуют анализ зависимостей, управление уязвимостями, SBOM (перечень компонентов программного продукта, Software Bill of Materials), процедуры раскрытия уязвимостей и другие практики. Для ИИ аналогичная инфраструктура только формируется. Авторы предлагают, в частности, развивать AI BoM (перечень компонентов ИИ, AI Bill of Materials), который позволял бы фиксировать происхождение обучающих данных, историю создания модели, дообучение и известные уязвимости.
Исследование при этом не утверждает, что открытый ИИ сам по себе менее безопасен. Оно показывает другое: существующие методы оценки безопасности открытого ПО не полностью подходят для моделей ИИ, а необходимая документация и механизмы проверки пока распространены недостаточно.
Для Пиратской партии это особенно интересная тема: в программе партии ещё в 2017 году закреплены ориентация государственных органов на свободные и открытые технологии, открытые стандарты и форматы, свободный доступ к информации и открытость данных. Отдельно программа говорит о необходимости кибербезопасности и защиты персональных данных.
Таким образом, вопрос сегодня уже не только в том, «открыта» ли нейросеть. Важно понимать, что именно открыто, откуда это взялось и можно ли проверить цепочку создания и изменения модели.
GOV.UK A study of cybersecurity literature on open-source software and AI Open-source software underpins most global digital infrastructure; the OSSRA reports open-source components in 96% of commercial codebases, including government, critical services, and AI pipelines. For decades this dependency was governed inconsistently… Британский Департамент цифровых технологий, культуры, СМИ и спорта совместно с Департаментом науки, инноваций и технологий опубликовал исследование кибербезопасности открытого программного обеспечения и открытого ИИ. Исследование подготовил Университет Гринвича. Авторы проанализировали 14 561 академическую публикацию, из которых 43 прошли отбор, а также 172 источника так называемой «серой литературы» - отчёты государственных органов, стандарты, рекомендации отраслевых организаций и другие материалы. Отдельно исследовались GitHub и Hugging Face.
Одна из главных проблем, которую отмечают авторы, - отсутствие единого понимания того, что именно считать открытым ИИ. Для программного обеспечения существует достаточно устоявшееся определение Open Source Initiative. Для ИИ конкурируют как минимум три подхода: открытый исходный код, открытые веса модели и более широкое понимание открытости, включающее данные, инструменты и процесс разработки.
При этом открыть веса модели недостаточно для того, чтобы понять, откуда взялось её поведение. В случае ИИ важны не только исходный код, но и обучающие данные, происхождение модели, история дообучения, инструменты разработки и сами веса. Среди специфических угроз исследование называет отравление датасетов, изменение весов модели, небезопасное дообучение и отсутствие возможности проследить происхождение модели.
Авторы отдельно обращают внимание на разрыв между привычным пониманием open source и тем, что сегодня называют open-source AI. В качестве наиболее полного подхода они рассматривают Open Source AI Definition 1.0, согласно которому должны быть доступны сведения об обучающих данных, исходный код и параметры модели. При таком подходе одной публикации весов недостаточно.
Есть и довольно показательная цифра. Среди 10 000 наиболее скачиваемых моделей на Hugging Face с разрешительными открытыми лицензиями только 15 имели в описании сведения, относящиеся к безопасности, - менее 0,2%. В исследованных примерно 2 000 GitHub-репозиториях, связанных одновременно с ИИ и безопасностью, содержательная информация по безопасности обнаружилась только в 131 репозитории - около 6%.
Для обычного открытого ПО проблема безопасности уже хорошо изучена: существуют анализ зависимостей, управление уязвимостями, SBOM (перечень компонентов программного продукта, Software Bill of Materials), процедуры раскрытия уязвимостей и другие практики. Для ИИ аналогичная инфраструктура только формируется. Авторы предлагают, в частности, развивать AI BoM (перечень компонентов ИИ, AI Bill of Materials), который позволял бы фиксировать происхождение обучающих данных, историю создания модели, дообучение и известные уязвимости.
Исследование при этом не утверждает, что открытый ИИ сам по себе менее безопасен. Оно показывает другое: существующие методы оценки безопасности открытого ПО не полностью подходят для моделей ИИ, а необходимая документация и механизмы проверки пока распространены недостаточно.
Для Пиратской партии это особенно интересная тема: в программе партии ещё в 2017 году закреплены ориентация государственных органов на свободные и открытые технологии, открытые стандарты и форматы, свободный доступ к информации и открытость данных. Отдельно программа говорит о необходимости кибербезопасности и защиты персональных данных.
Таким образом, вопрос сегодня уже не только в том, «открыта» ли нейросеть. Важно понимать, что именно открыто, откуда это взялось и можно ли проверить цепочку создания и изменения модели.
- ❤ 3
- 🔥 1
- 🤔 1




