Сейчас поднялся новый хайп вокруг модели JEV от TypeSafeAI, ну и я конечно же сразу стал разбираться что к чему.

Подробнее про особенность модели можно почитать тут: https://typesafe.ai/blog/introducing-system-one-models-and-jev или тут https://habr.com/ru/articles/1084030/

Вчера в 23 часа вечера ко мне пришла идея попробовать применить JEV к оценке ИИ систем, и попробовать создать новый подход Jev-as-a-Judge, в итоге почти ночью быстро в eval-ai-library сделал реализацию под Answer Relevancy, пошел за API ключем и тадам,

регистрация недоступна из-за того , что TypeSafeAI не справились с нагрузкой…

В общем теперь сижу жду, когда наконец-то проверю возможности данной модели в оценки ИИ и обязательно расскажу потом вам


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)