5 выводов, которые я сделал за 3 года работы с ИИ проектами:

1. Не сильно важно, какой фреймворк вы используете, гораздо важнее какая методология лежит в основе оценки ИИ систем.
2. При все популярности базовых метрик, таких как Task Compliteness, Answer Relevancy, и так далее, вам все равно нужны будут ваша кастомные метрики под специфику ваших проектов.
3. Датасеты для позитивного, негативного, edge cases, метаморфического тестирования и прочего стоит делать и запускать отдельно.
4. Неважно насколько сильный или популярный фреймворк, вам все равно нужно будет делать ручной анализ результатов и трейсов.
5. Все говорят о том, что ИИ системам нельзя доверять, при этом еще не разу не видел выстроенного процесса оценки ИИ систем


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)