AI security risk assessment

История с AI/ML Ops стремительно набирает обороты в ИТ-комьюнити. Мы же сегодня начнем эту неделю с AI Security.

Microsoft выпустила статью "AI security risk assessment using Counterfit", в которой представила свой новый открытый инструмент Counterfit для оценки ML-систем на безопасность. Безопасность ML - на сегодняшний день супер-молодая ниша. Организация MITRE только полгода назад представила матрицу угроз "Adversarial ML Threat Matrix", которая пока еще не успела стать частью ATT&CK matrix.

Microsoft также рассказала про bug bar, где собираются различные атаки на ML-системы и набор вопросов, которые стоит задать для моделирования угроз ML. В статье также упоминаются другие инструменты безопасности: Adversarial Robustness Toolbox and TextAttack.

#ml