Друзья, привет, с началом рабочей недели вас!
Пока Бил Гейтс говорит о возможной утрате контроля над ИИ и необходимости большего регулирования ИИ на уровне государства и межгосударственных структур, наши компании разрабатывают решения и методики по контролю.
Недавно изучил новую методику оценки киберзащищенности ИИ SAIMM v2.0 от Swordfish Security. Меня порадовала рабочая Excel-модель: отвечаете на вопросы, получаете профиль зрелости и конкретные шаги, как улучшить ситуацию.
Что внутри?
- 7 доменов: управление и риски, данные и приватность, безопасность модели, цепочка поставок, инфраструктура и эксплуатация, агентные системы и RAG;
- 60 критериев, каждый оценивается от 0 до 4: от полного отсутствия практики до адаптивного процесса, который измеряется и улучшается;
- 18 блокирующих вопросов. На мой взгляд, это самая интересная часть модели: высокий средний балл не позволяет спрятать критическую дыру. Одна блокирующая практика с оценкой 0–1 ограничивает зрелость домена первым уровнем, а две - нулевым. Например, если у компании нет правовых оснований обработки данных, на которых обучается ИИ-решение
- 52 активности развития с переходами между уровнями. Для каждой можно назначить ответственного, срок, статус и критерий готовности.
🔍 Отдельно радует, что агенты и RAG здесь также учтены. Для агентов проверяются инструменты и плагины, память, HITL, валидация планов, аудит действий, бюджеты и реагирование. Для RAG - источники, права на уровне фрагментов, инъекции через документы, качество поиска, дрейф эмбеддингов и цепочка поставок компонентов.
Критерии сопоставлены с таксономией угроз и мер защиты Swordfish Security, а уровни зрелости — с CMMI и ISO/IEC 33020. На официальной странице также заявлен учёт 187-ФЗ, приказа ФСТЭК №117 и российских ГОСТов в области ИИ.
⚠️ Важный нюанс: «общий уровень зрелости» здесь справочный. Усреднять безопасность агента, данные и инфраструктуру в одну красивую цифру опасно. Польза SAIMM именно в профиле по доменам и блокирующих вопросах.
Хороший фреймворк не просто перечисляет угрозы. После него понятно, что делать, кто отвечает и по какому признаку работа принята. SAIMM v2.0 выглядит именно таким инструментом. Но также напомню, что у организации должны быть определены недопустимые события и потенциальные векторы атак, один из которых может проходить через вычислительную инфраструктуру или ИИ-решение. Ну и как следствия, должны быть определены и реализованы механизмы защиты
А у вас безопасность ИИ уже измеряется как процесс или пока зависит от нескольких энтузиастов?
PS: в первом комментарии приложу сами документы 👇
#кибербез
💬 ген ии | MAX