15 вересня TypeSafe AI відкрила ранній доступ до Jev. Засновник - Diogo Almeida, який в OpenAI працював над методами, що лягли в основу ChatGPT. Jev - перша модель класу, який вони називають System One: неструктурований стан на вході, типізовані рішення з імовірностями на виході.
У Jev немає генерації рядків. Натомість:
⏺відповідь завжди відповідає схемі, заданій наперед - помилок типів немає за побудовою;
⏺кожна відповідь іде з каліброваною імовірністю: вища впевненість - вища точність;
⏺усі відповіді рахуються паралельно одним запитом, а не токен за токеном.
{
"model": "jev-latest",
"state": "Третій день не можу підключити Stripe, втрачаю продажі.",
"questions": {
"is_urgent": {"type": "noul", "instructions": "Повідомлення термінове"}
}
}Відповідь: "noul": 0.999.
Типи питань: choice - вибір із варіантів, до 255; score - оцінка за шкалою; noul - так чи ні.
Цифри, які можна перевірити самому: 70-500 мс на відповідь, вхід $0.042 за мільйон токенів, вихід безкоштовний. Вхід у LLM коштує від $0.20 до $10 за мільйон.
Цифри із застереженнями від самої TypeSafe: 193.6x швидше і 444.6x дешевше - це їхні workflow-evals. Складала їх власна команда, еталон - середнє GPT-6 Astra і Fable 5.1, і за їхніми ж словами це верхня межа реального виграшу. Що ціна не субсидована, вони теж довести не можуть і пишуть про це прямо.
Де Jev стає в циклі агента: роутинг між дешевою і сильною моделлю і гейт на ризиковані виклики інструментів. Для обох сценаріїв у LangChain уже є експериментальні middleware.
Jev не замінює LLM. Генеративна модель лишається на відкритих задачах, класифікатор бере рішення всередині циклу.
Скільки викликів моделі у вашому агенті насправді потребують генерації тексту?
👀 - ніколи не рахував
🔥 - вже маю класифікатор у циклі
#agents #Jev