На прошлой неделе громко и красиво релизнулась на рынок новая архитектурная надстройка для ИИ под названием Jev от TypeSafe AI (выходцы из OpenAI).
Как это было раньше: вы делаете модерацию, роутинг тикетов, NPC в играх, что угодно, где нужен ИИ и подключаете GPT/Haiku/DeepSeek как самое дешёвое решение. Юзер отправляет тикет, на который ИИ думает пару секунд, прожигая токены на анализ всего запроса, жгёт токены на ответ, выдавая в нём кучу букв в духе: «Анализ запроса показал, что данный текст является спамом...», вместо того чтобы просто присвоить тикету тег нужного отдела/темы или флаг спама.
Тем самым, с GPT/Haiku/DeepSeek вы: а) платили деньгами и секундами пользователя за ИИ-тексты, которую бэкэнд дальше выбрасывал в первой же строке; б) заставляли бэкэнд и юзера ждать; в) оставили шанс галлюцинаций.
Под такие задачи нужен Boolean (простой тип данных, который принимает только два значения: истину (true) и ложь (false) и для этого существует особый класс ИИ-моделей "System One Models", в которых языковой модуль вырезан физически.
Поэтому Jev "немая" и не умеет генрировать контент и ты не сможешь отправить ей запрос в духе «Напиши статью про ИИ» (точнее, интерфейс API TypeSafe AI потребует от тебя заранее передать модели массив вариантов, из которых она должна выбрать).
Jev умеет только принимать ИИ-решения, поэтому для исследований, контента или кодинга Jev абсолютно бесполезен, но она незаменима, если тебе нужно построить очень быструю автоматическую систему, которая должна принимать решения на основе уже существующих данных.
Она сэмплирует параллельно: берёт сырой текст, логи, параметры, сверяет с представленным вами списком вариантов, и отдаёт вердикт в виде ID, True/False, JSON.
Допустим, вы большой финтех (нуачо, бывает и такое) и вам в секунду прилетает 500 писем в сапорт и вам нужно раскидать их по отделам: "Блокировка карт", "Кредиты", "Переводы" и т.д. Обычная LLM на таком потоке просто сначала ляжет по лимитам, а потом разорит ваш финтех на оплате токенов.
Jev способна принимать ВЕСЬ массив писем за один параллельный запрос, оценивать вероятности для каждого департамента и мгновенно вешать ярлыки для разметки роутинга на все тикеты. Готово, в этом магия Decision-моделек!
В итоге, ответы со скоростью 70 –500 мс (быстрее моргания), все варианты разом, один запрос = одно решение, и копеечная стоимость за 1 запрос.
We were inspired by Daniel Kahneman, Thinking, Fast and Slow (c) Jev ✨
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto
Другие каналы по темам:
🤖 AI @maltsevdaily
🧑🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym