Новый нарративчик подъехал в мире ИИ.
Весь твиттер пишет про Jev, как он ебет и силен.
Посидел потестил эту новую модельку, сейчас раскидаю, что к чему
Jev - моделька от TypeSafe.
Отличается от привычных нам моделек тем, что выдает конкретный результат за миллисекунды, а не генерирует огромный текст.
На примере: если дать Sol, Opus задачу с выбором, они прочитают контекст, начнут рассуждать и после примут какое-либо решение.
Jev работает как System One Model: задаёшь ему контекст, варианты ответов, и он, исходя из этого, выбирает наиболее подходящее.
Запросы к нему стоят прям копейки
На оф. сайте вообще бесплатно тестить можно.
На OpenRouter за 1М входных токенов берут 0.04$.
Где тут полезность для вайбкодеров?
Моделька предназначена не для того, чтобы рассуждать, писать код или вызывать инструменты.
Она берёт контекст и делает определенный выбор, возвращая его в определенной структуре.
Использовать её можно в разных приложениях.
Объясню на примере игры.
У нас есть в игре боты, им надо принимать множество решений, чтобы они не были болванчиками.
Идти сюда, спрятаться, атаковать игрока, подлечить союзника и т. д.
Сюда можно подкрутить Jev без необходимости заниматься машинным обучением.
Собирается контекст: что вокруг бота, что происходит, и варианты действий.
Jev выбирает наиболее подходящее.
3 основных режима:
Noul - даётся задача и критерии к правде или неправде. Модель возвращает число от 0 до 1, где 1 - 100% подходит.
Choice - задаем ситуации, спрашиваем вопрос, даём варианты выбора. Моделька выбирает лучший.
Score - оценка ситуации. К примеру, опасность ситуации, где 0 = безопасно, 5 = средняя угроза, 10 = критическая угроза. Ответ даёт в дробных числах, не выбирает что-то из, а может поставить, к примеру, 7.5 оценку.
У Choice и Score ещё приходит уверенность в ответе: насколько она сама уверена, что приняла правильное решение.
Работает как у Noul: от 0 до 1.0, где 1 = 100% уверенность.
Модельку можно подёргать самостоятельно, но не в привычном кодинг-агенте.
Для неё надо прописывать отдельный скриптик с запросами.
Доку агенту можете закинуть он вам все соберет.
Принимает структурный запрос по типу:
json
{
"state": "My running shoes arrived in the wrong size. Can I swap them for a size 10?",
"questions": {
"department": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": {
"returns": "Exchanges, wrong or damaged items",
"shipping": "Delivery status, delays, lost packages",
"billing": "Charges, invoices, payment problems"
}
}
}
}
Возвращает ответ всегда в одной формате:
json
{
"model": "jev-1.13.0",
"answers": {
"department": {
"type": "choice",
"choice": "returns",
"confidence": 1.0,
"probabilities": {
"shipping": 0.0,
"returns": 1.0,
"billing": 0.0
}
}
},
"usage": {
"input_tokens": 328,
"output_tokens": 34
}
}
Можно конечно зайти в ChatGPT, задать подобный формат ответа и парсить его.
Но модель потратит время на рассуждение и будет стоить в разы дороже.
Здесь, когда ответ выходит в одной структуре - дается возможность писать свои решения без страха, что модель вернет другой формат ответа.
Трейдинг-боты, парсинг сообщений, принятие решений в игре, выбор инструмента для работы - на что хватает фантазии, думаю, каждый уже штук 5 придумал возможностей реализации.
Новая ли эта ступень для ИИ?
Определённо да, теперь появился функционал, который работает за доли секунды и может закрывать задачи, где необходимо ответить на вопрос, оценить соответствие или просто понять, подходит это или нет.
На фоне хайпа Jev начала вируситься точно такая же по функционалу модель Laya.
Но работает локально, занимает ~1 гигабайт оперативки и работает в десятки раз быстрее.
Дайте реакций, если хотите подробный разбор.
Может, что-то интересное по функционалу придумаю❤️
Бульдозер | Чат | Закреп | NZT