Сегодня я хотел вам напомнить о моей опенсорсной библиотеки по оценке систем на базе ИИ.

За последнее время библиотека несколько преобразилась, а именно:
• теперь есть поддержка более 50 различных AI провайдеров в качестве оценщика, включая готовую интеграцию для кастомных моделей, ollama self-hosted и MLX моделей
• расширилось количество агентских метрик до 9
• подключить свою ИИ систему можно просто как в Postman, просто указав параметры API запроса
• и много мелких правок дефектов!

Кроме того, мой фремворк запускается локально, и вы можете запускать оценки через нативный UI интерфейс.

Если вы еше не пробовали, как это работает, то полная документация доступна тут по ссылке library.eval-ai.com, установить можно простой командой

pip install eval-ai-library

после чего достаточно ввести к командной строке

eval-ai dashboard

Буду отдельно благодарен за звезды на github https://github.com/meshkovQA/Eval-ai-library, а также поддержку в развитии данного фреймворка!

Кроме того, если вас интересует подход, который я использую для вычисления метрик, то данную информацию вы также можете найти в моей работе на arxiv https://arxiv.org/abs/2604.08595