Руководство по безопасной разработке ИИ-систем SAIL 2.0

Компания Pillar опубликовала обновленную версию одного из наиболее практических фреймворков по безопасности ИИ. Документ ориентирован не только на модели, но и на современные ИИ-приложения и агентные системы.
👀 SAIL можно использовать для:
1️⃣Оценки своей текущей программы и составления плана с приоритетами.
2️⃣Составления запроса предложений (RFP).
3️⃣Проведения оценки рисков.
4️⃣Карты соответствия требованиям.
5️⃣ Моделей угроз для агента.

В нем собраны типовые риски, сгруппированные по всему жизненному циклу ИИ. Для каждого из них приведены:
▪️описание угрозы;
▪️ пример сценария атаки;
▪️ затрагиваемые активы;
▪️ практические меры защиты;
▪️ сопоставление с международными стандартами.

Новые риски, связанные с агентными ИИ-системами:
▪️неполное моделирование угроз для агентных архитектур;
▪️отсутствие проверки внешних источников данных и MCP-инструментов;
▪️неправильная классификация уровня автономности агента;
▪️чрезмерные привилегии и неконтролируемое выполнение действий;
▪️риски долговременной памяти и управления контекстом.
Каждая рекомендация привязана к существующим стандартам и руководствам, включая ISO/IEC 42001, ISO/IEC 27001/27002, OWASP AI Security, MITRE ATLAS, NIST AI RMF, EU AI Act, OWASP Top 10 for LLM Applications и другим.

❕Цель SAIL: объединить разработчиков, MLOps, специалистов по безопасности и управлению с помощью общего языка и действенных стратегий для управления рисками, специфичными для ИИ, и обеспечения надежности ИИ.

#AIShelf
————
@pattern_ai | AI GDPR Navigator