Вчера записывал новое видео по promptfoo в рамках моего курса по оценке и тестированию ИИ систем, и в который раз убеждаюсь, насколько неинтуитивный и сложный в настройке этот инструмент именно для оценки качества ИИ систем (я тут не говорю про redteaming и безопасность).

Я попробовал их UI интерфейс для настройки подключения к моему ИИ прилдожение, потратил минут 30 пытаясь что-то настроить, потом оказалось, что могу через UI только настроить парсинг ответа от ИИ, а вот метаданные уже нет.

В итоге опять пришло спрашивать OpenAI как настроить YAML promptfoo для работы с моим AI агентом и в итоге потратил почти 2 часа просто на неинтуитивную настройку и конфигурацию этого YAML файла. По факту без LLM чисто по документации я бы потратил наверное еще больше времени на это.

В общем не знаю, почему все так хвалял и продвигают этот тул, скудный набор метрик, сложный парсинг нужных данных для оценки, неинтуитивная настройка метрик, визуализация результатов тоже оставляет желать лучшего.

Пробовали, что думаете, согласны или нет?


⚡️⚡️Старт нового потока на курсе по тестированию ИИ - 9 сентября! 🔥


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)