Функционал
🔺Автоматическая оценка промптов и моделей
🔺 Сканирование уязвимостей
🔺Сравнение моделей
🔺 Интеграция с CI/CD
Работа в двух режимах:
1️⃣Оценка - осуществляет проверку качества и точности промптов, моделей и приложений, создавая матричные представления, которые позволяют быстро оценивать результаты по многим запросам.
➡️Инициализация собственной конфигурации
promptfoo init➡️Для настройки оценки необходимо настроить промпты: в файле promptfooconfig.yaml добавить подсказки, которые необходимо протестировать. Двойные фигурные скобки используется для обозначения переменных: {{variable_name}}.
prompts:
- 'Convert this English to {{language}}: {{input}}'
- 'Translate to {{language}}: {{input}}'
➡️Далее необходимо добавить providers, чтобы указать модели ИИ, которые необходимо протестировать. Promptfoo поддерживает более 50 провайдеров, включая OpenAI, Anthropic, Google и многих других:
➡️Добавьте несколько примеров тестовых входных данных для ваших запросов.
➡️Запуск оценки
promptfoo eval и просмотр результатов promptfoo view.2️⃣Red teaming - проверка на наличие уязвимостей в системах искусственного интеллекта до их внедрения с помощью моделирования вредоносных входных данных.
➡️Инициализация
npm install -g promptfoo и запуск promptfoo redteam setup. Команда setup откроет веб-интерфейс с вопросами для настройки конфигурации.➡️Для начала необходимо предоставить подробную информацию о целевом приложении. Как минимум, обязательно заполнить поле Purpose описанием приложения.
➡️ Затем необходимо выбрать цель сканирования и плагины (состязательные генераторы, создающие вредоносные входные данные, которые отправляются в целевое приложение).
➡️Далее выбирается стратегия - методы, которые позволяют использовать сгенерированные входные данные для конкретной атаки. После этого необходимо сохранить получившиеся параметры в файл promptfooconfig.yaml.
➡️Финальным шагом будет запуск сканирования
promptfoo redteam run и просмотр результатов promptfoo redteam report.