Jev! Что это и откуда столько хайпа?

Для начала разберёмся с базой: Jev — это классификатор. С ним нельзя поболтать. Всё, что с ним можно делать: подать на вход данные и попросить на выходе один из трёх вариантов: да/нет, оценку по шкале или выбор пункта из заданного списка. Никакой генерации текста токен за токеном. Зато к каждому ответу он прикладывает вероятность: если уверенность низкая, можно отдать вопрос большой модели или человеку

Зачем это вообще нужно?
В 90% реальных проектов генерация текста от нейросети не нужна. Бизнесу нужна быстрая, дешёвая и надёжная сортировка входящего потока данных. Люди не справляются по скорости, а правила на if/else моментально ломаются от кривого человеческого языка

Использовать для этого ChatGPT или Claude — долго и безумно дорого. Jev отвечает за 70–500 мс и стоит сущие копейки: $0.042 за миллион входных токенов, а за выходные денег не берут вообще. Разобрать с ним десятки тысяч тикетов обойдётся буквально в пару долларов

Где его реально применить:
— Служба поддержки. Пользователь пишет: «У меня дважды списали деньги, разберитесь срочно!». Jev одним запросом ставит максимальный приоритет, категорию «ошибка оплаты» и выбирает нужного специалиста, пока обычные вопросы висят в общей очереди
— Модерация. Проверка комментариев, отзывов и объявлений на спам, оскорбления и запрещённые ссылки
— Маршрутизация в ботах. Понять цель запроса (возврат, доставка, вопрос) и сразу вести человека по нужному пути без кнопочных меню
— Роутинг между моделями. Решать, какой LLM отдать запрос: дешёвой или тяжёлой

Классификаторы же сто лет существуют. Откуда хайп?
Во-первых, сделал его Diogo Almeida — бывший сотрудник OpenAI, который называет себя одним из создателей ChatGPT. Он придумал новый способ обучения моделей

Во-вторых, соображает Jev как LLM, а не как классификаторы из 2019-го. Я ночью вместе с Opus активно тестировал его: он отлично понимает славянские языки, считывает намёки и сарказм, понимает связи

В своих задачах по уму Jev где-то на уровне 5.6 Terra и до Sol не дотягивает (это по тестам самих разработчиков). Он не рассуждает, поэтому на логических задачках и загадках легко путается, и картинок не видит, только текст. Он гарантирует только формат ответа, а не свою правоту, поэтому галлюцинировать он, конечно же, может

В Твиттере уже вовсю экспериментируют
Jev водит машину в симуляторе в реальном времени, рисует картинки (по вопросу на каждый пиксель) и кликает по интерфейсу в Computer Use. А в блиц-шахматах он обыграл Fable 5.1: тот был впереди по позиции, но слишком долго думал и проиграл по времени 😁

Лучше всего Jev раскрывается в паре с обычной LLM: та думает и планирует, а Jev за доли секунды принимает мелкие решения. Так и устроены многие демки: в Computer Use план пишет LLM, а кликает Jev

Модель закрытая. Доступ раздают через вейтлист на typesafe.ai, после одобрения дают $5 в месяц бесплатно, а это ~120 млн токенов. Ещё Jev есть в Vercel AI Gateway, говорят, там можно и без вейтлиста

Мне доступ выдали через 6 часов после заявки, в 2 ночи, и тестил я его до 6 утра. Спасибо, Jev, за сломанный сон 😭😭 Но было увлекательно! Однозначно интересная модель.