Сбер обновил модель угроз кибербезопасности ИИ и представил её в формате матрицы. В новой версии угрозы связаны с возможными способами атак, объектами воздействия, типами нарушителей и этапами жизненного цикла ИИ-систем.
Для рынка это важный сдвиг. По мере распространения ИИ становится недостаточно просто перечислить возможные угрозы. Нужно понимать, как именно они реализуются, на каком этапе возникают и какие компоненты ИИ-системы затрагивают.
Защита ИИ-систем сегодня становится обязательным требованием к любой современной ИТ-системе и самой инфраструктуре. Наличие актуальной и детальной карты угроз, подготовленной одним из лидеров в области ИИ в России, даст рынку значительно более глубокое понимание реальных вызовов, с которыми компании могут столкнуться, и поможет российским компаниям осознанно подходить к безопасности ИИ и развивать его ответственно.
— отметил Юрий Шабалин, директор по развитию технологий ИИ Swordfish Security.
📖 В прошлом году мы разработали собственный фреймворк безопасности систем искусственного интеллекта и таксономию угроз ИИ. Сейчас продолжаем ее актуализировать с учетом развития технологий и новых сценариев их использования. В обновленную таксономию вошли такие угрозы как компрометация моделей, обход ограничений, раскрытие чувствительной информации в ответах, конфликт иерархии инструкций и другие.
🐟 Рассылка | Max | Habr
#AISecurity