Мега хайповый новый класс моделей, друзья. Jev от TypeSafe взрывает ленту в Твиттере, вот тлдр шо це таке:

Jev получает контекст, набор вопросов и заранее заданные варианты ответа, после чего возвращает решения и вероятности.

Причём можно за один запрос задать несколько независимых вопросов, которые обрабатываются параллельно. Получается очень быстро и дёшево⚡️

Когда я пилил RAG, например, была проблема: чтобы понять, нужно ли вызывать инструмент, приходилось сначала идти в большую модель и ждать, пока она примет решение. Jev можно поставить перед ней как почти мгновенный классификатор: хватает ли контекста, какой инструмент нужен, какую модель вызвать и нужно ли вообще обращаться к большой модели.

Помимо этого он может определять намерение пользователя, проверять права доступа, маршрутизировать запросы, оценивать результаты и выбирать нужные куски кодовой базы, ну подсказывать в каком модуле больше какого-то свойства

Я пока представляю Jev как отдельный слой принятия решений между обычным детерминированным кодом и языковой моделью но где именно это окажется полезнее всего, практика покажет... пока что вопросов больше чем ответов

Мб следующий год будет уже не про агентов, которые делегируют задачи разным языковым моделям, а про системы, которые большую часть мелких решений отдают таким дешёвым классификаторам, а потом по необходимости части задачи делят между умными/средними/дешёвыми ллм🧐