Сегодня разберем одну из важнейших практик в области безопасности ИИ — red teaming. Термин пришел из кибербезопасности, но в контексте ИИ приобрел новое значение и критическую важность.

Red teaming в AI - это процесс тестирования, где команда специалистов пытается заставить ИИ-модель вести себя нежелательным образом: генерировать токсичный контент, выдавать конфиденциальную информацию, проявлять предвзятость или нарушать политики безопасности.

Основные направления red teaming:
Jailbreak атаки - попытки обойти фильтры безопасности модели через хитрые промпты. Например, попросить ИИ "сыграть роль злодея" или использовать метафоры для получения запрещенного контента.

Prompt injection - внедрение скрытых инструкций в пользовательский запрос, чтобы модель выполнила нежелательные действия. Особенно критично для ИИ-агентов с доступом к внешним системам.

Data poisoning - проверка, как модель реагирует на потенциально вредоносные данные в обучающем наборе или контексте.

Bias (предвзятость) - поиск предвзятости по отношению к определенным группам, профессиям, национальностям, религиям.

Из материалов для обучения я советую посмотреть эти видео, в которых достаточно поднятно разбирается данный вид тестирования AI систем:

Мини курс по RedTeaming с deeplearning.ai

Мини курс по RedTeaming от Microsoft

С точки зрения фреймворков, в своей работе я использую следующие в зависимости от типов задач:

PyRIT - фремворка от microsoft, который возволяет автоматически находить разные уязвимости в системе, содержит большое количество атак и промптов и регулярно обновляется разработчиками.

DeepEval RedTeaming - достаточно простое использование, нужно указать, что вы хотите получить (например, финансовую информацию о компании), и фреймворк сам сгегенирует промпты для различных типы атак и выполнит эти атаки на вашу AI систему.

GuardrailsAI - эффективен для мониторинга атак на продуктиве, может выявлять разные типы атак.


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI