НОВЫЙ ФРЕЙМВОРК ДЛЯ ОЦЕНКИ ИИ

Всем привет!

Хочу поделиться с вами отличной новостью, что я наконец-то опубликовал мой собственный разработанный evaluation framework для оценки решений на базе генеративного ИИ.

Я работал над этим фреймворком практически 6 месяцев, в том числе изучая и применяя на практики различные другие фреймворки, такие как deepeval и RAGAS, но в итоге не один из них так полностью и не удовлетворил меня в плане оценки ИИ решений в рамках моих проектов.

Поэтому я решил пойти другим путем и написать свою собственную бибилиотеку для оценки ИИ, которая бы решала проблемы, с которыми я сталкивался:
⁃ сделать возможность изменения требовательности оценки в зависимости от проекта, потому что на одном проекте нужно строгая жесткая оценка, а на другом, например, у обычного чат бота не сильно критично, если он добавляет от себя контекста, поэтому требовательность может быть ниже.
⁃ сделать оценку более точную и использовать LLM для косвенной, а не прямой оценки.
⁃ расширить и улучшить систему вердиктов, которая также используется в deepeval в более упрощенном варианте
⁃ сделать процесс оценки прозрачным, то чего мне не хватало в других фреймворках, когда не совсем понимаешь, почему получился тот или иной скор балл.

И все эти проблемы я постарался решить с моем фреймворке eval-ai-library.

Что сейчас там есть:
⁃ Поддержка более 15 метрик для оценки ИИ
⁃ Полноценная имплементация алгоритма оценки G-Eval
⁃ Поддержка разных LLM провайдеров
⁃ Генерация датасета с нуля или из документов
⁃ Регулировка строгости оценки через температуру
⁃ Визуализация результатов оценки в терминале
⁃ Прозрачное логирование, которое показывает полностью из чего получился финальный скор балл.
⁃ Полноценная документации по работе с фреймворком

Я буду благодарен за использование моего фреймворка в вашей работе, а также вы всегда можете что-то конрибъютить сами в данный проект.

Скачивание доступно через официальный установочник python pip.

Ссылка на библиотеку в pypi.org
https://pypi.org/project/eval-ai-library/

Ссылка на открытый GIT репозиторий проекта
https://github.com/meshkovQA/Eval-ai-library.git