Рад сообщить, что в эти выходные я выпустил новую версию моей библиотеки eval-ai-library 0.5.1 для оценки ИИ систем и в ней теперь есть ряд важных изменений!

1. Самое важно обновление - это возможность через удобный UI интерфейс подключиться к API вашей ИИ системы без необходимости написания кода. То есть теперь вам достаточно, как в postman, создать запрос к API вашей ИИ системы, получить ответ, с помощью JSONPath получить нужные данные и запустить оценку! И это доступно бесплатно через opensource!
2. Автоматическая загрузка ваших датасетов оценки через СSV или JSON файлы.
3. Объем доступных метрик для оценки теперь расширен до 35, я расширил не только базовые метрики оценки LLM-as-a-Judge, но и добавил детерминированные метрики, не требующие внешней LLM, а также метрики оценки через embeddings.
4. Фреймворк теперь поддерживает большое количество провайдеров и моделей для LLM-as-a-Judge и генерации датасета (12 провайдеров LLM)
5. Ну и самое классное, что подготовлена полноценная документация по работе с фреймворком, доступная по ссылке library.eval-ai.com, в том числе и на русском.

Я буду благодарен за ваши звезды⭐⭐⭐ на GitHub, это поможет сделать мой фреймворк более видимым для всех, а также за использование его в своих проектах и обратной связи.

Ссылка на репозиторий https://github.com/meshkovQA/Eval-ai-library.git

Если у вас идеи по доработке фреймворка, то вы всегда можете завести issue с типом “feature request” в GitHub.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)