Недавно сделал небольшой анализ рынка и сравнил основные инструменты для оценки и тестирования ИИ систем.

Все результаты попытался сложит в одну картинку, поэтому пользуйтесь!

Вкратце что смотрел:
OpenAI Evals (17k stars github)
Opik by Comet (15k stars github)
Deepeval (12k stars github)
Promptfoo (9k stars github)
Arize Phoenix (8k stars github)
Evidently AI (7k starts github)
Trulens (3k stars github)
Galileo


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)