✖️ В твитере супер-шумит jev, новое поколение ИИ-моделей, которое отличается от всего что мы видели раньше

Jev — модель, которая принимает решения без написания ответов

Привычные нам чат-боты работают на LLM — больших языковых моделях. Когда такая модель отвечает, она генерирует текст по одному токену. Токен — это кусочек текста: например, слово или часть слова.

Но что если нам вообще не нужен текст? Допустим, нужно разобрать тысячу сообщений от клиентов: где жалоба, где вопрос, а где человек хочет что-то купить.

LLM умеет это делать, но результат всё равно выдаёт через генерацию текста. Даже если это всего одно слово «жалоба» или короткий ответ для программы.

💡 Фишка Jev в том, что она сразу оценивает заданные варианты. На вход получает сообщение, на выходе — категорию и вероятности. Условно: жалоба — 90%, вопрос — 8%, покупка — 2%. Программа уже сама отправляет сообщение куда нужно.

За счёт этого на подобных задачах Jev может работать значительно быстрее и дешевле обычных LLM. По тестам разработчиков, разница бывает в десятки и сотни раз, но конкретный выигрыш зависит от задачи.

Написать вам пост или код Jev не сможет. А вот быстро отфильтровать новости, разобрать обращения или определить, какую задачу отдать дорогой умной модели, — для этого её и сделали. Ошибаться в решениях она, конечно, тоже может.

Jev выпустила TypeSafe — компания бывшего исследователя OpenAI Диогу Алмейды, одного из авторов исследования, которое легло в основу ChatGPT