Материал подготовлен на основе выступления Игоря Балакшева, руководителя по направлению архитектуры и контроля ИБ «Норникеля», в рамках образовательного курса «Директор по кибербезопасности 8.0». 💥
Экосистема защиты ИИ постепенно приобретает привычную для специалистов по ИБ структуру. Сегодня на рынке уже можно выделить несколько классов решений, каждый из которых закрывает свой тип угроз.
1. AI Firewall / Guardrails
Наиболее зрелое направление. Такие решения предназначены для защиты от Prompt Injection, Jailbreak, нарушений политик безопасности и галлюцинаций модели. Среди примеров Prisma AIRS, Lakera, Cisco AI Defense и SolidWall.
2. Open Source
Для построения базового уровня защиты уже доступны открытые инструменты: NeMo Guardrails, LLM Guard и Guardrails AI. Это доступная точка входа для внедрения guardrails при работе с LLM.
3. Защита агентских систем
Отдельное направление развивается вокруг защиты Agentic AI. Пока этот сегмент находится на ранней стадии, однако специализированные решения уже появляются. В качестве примеров SolidWall AI Security Gateway и совместное решение Yandex B2B Tech × SolidLab.
Агентные системы требуют дополнительных механизмов контроля, поскольку право выполнять действия создаёт новый класс системных рисков. Поэтому наряду с защитой самой модели необходимо контролировать действия агента, его инструменты, интеграции и полномочия.
4. AI Red Teaming
Направление AI Red Teaming пока остаётся преимущественно исследовательским — до его полноценной индустриализации ещё предстоит пройти путь. Именно AI Red Teaming рассматривается как один из ключевых процессов обеспечения безопасности ИИ. Он включает аудит промптов, ответов моделей и вызовов инструментов, мониторинг действий агентов (AI Observability), а также подготовку отдельных сценариев реагирования на ИИ-инциденты.
5. Платформенные и облачные решения
В качестве примера комплексного стека можно привести Amazon Bedrock Guardrails, SRA и AgentCore, которые позволяют реализовывать защитные механизмы непосредственно на уровне платформы.
6. Российский рынок
Российский рынок решений для защиты ИИ пока остаётся незрелым. Отдельные продукты уже существуют, однако полноценная экосистема только формируется. При этом мировой рынок развивается значительно быстрее: специализированные AI Security-стартапы активно консолидируются с крупными вендорами, а средний срок до их поглощения составляет около 18 месяцев.
Если вы хотите глубже разобраться в современных угрозах для ИИ, архитектуре защиты GenAI и Agentic AI, AI Red Teaming, MLSecOps, новых классах средств защиты и подходах к безопасному внедрению искусственного интеллекта в компании, присоединяйтесь к четвёртому модулю программы «Директор по кибербезопасности 8.0». 🙌🏻