Привет всем, продолжаем разбираться в оценке AI.

Сегодня я хочу немного рассказать про фреймворк оценки ИИ систем, которые ранее я еще не упоминал на моем канале - это Opik Comet.

Начну с того, что по сравнению с тем же DeepEval, который имеет большие ограничение на бесплатной версии с точки зрения оценки ИИ систем через UI интерфейс, в этом плане возможности, которые доступны у Opik, в разы выше.

Opik фактически полностью опенсорсный фрейморк, включая использование SaaS Cloud UI версии для своего проекта, где доступны доступны бесплатно практически все ключевые функции, которые нужны для оценки ИИ системы:
⁃ подключение трейсов к вашему ИИ приложению (в бесплатной версии доступно до 25 тысяч спанов в месяц, что в целом хватил для 3-5 средних ИИ проектов)
⁃ управление проектами, датасетами и запусками оценки
⁃ эврестические (20 метрик) и LLM-as-a-Judge (23 метрики)
⁃ оценка на production в режиме реального времени
⁃ промпт менеджмент и playground для тестирования промптов


Проект доступен по ссылке https://www.comet.com/site/products/opik/ и также у него есть достаточно подробная документация по интеграции и работы с ним.

Поэтому, если искали альтернативы существующим фреймворкам оценки ИИ систем, то советую присмотреться к Opik Comet.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)