Від умовного Скайнету чи Матриці нас рятувало те, що LLM-ки доволі повільні: довго відповідають на питання, довго приймають рішення.

Проте нещодавно вийшла нова модель (чи як її правильно назвати, бо самі автори кажуть System One model), яка цю проблему вирішила.

Називається Jev, від TypeSafe AI. Це штука, яка дозволяє вирішувати певний ряд питань за мілісекунди там, де LLM може витрачати секунди, а то й хвилини.

Йдеться про класифікацію. Ця модель дуже швидко і дешево видає відповіді на три типи питань. Перше — до якої категорії відноситься певне твердження. Друге — відповідь «так» чи «ні». Третє — оцінка за шкалою, яку ти сам описав, типу «наскільки серйозний цей баг, від 0 до 2». І до кожної відповіді йде ймовірність, наскільки вона в ній впевнена.

І тепер є змога ті місця, де LLM підтуплювали і довго чекали, замінити рішенням, яке дає приблизно той самий результат за мілісекунди (обіцяють 70–500 мс) і за дуже дешево: 4 центи за мільйон вхідних токенів, а вихідні взагалі безкоштовні.

Я бачив повідомлення про це у твітері, але розбиратись було ліньки.

Потім про це написали в нашому чатику (якщо ви ще не там, то ось запрошення), а ще потім побачив відос, який нормально все пояснив.

І ось воно вже є і ним можна користуватись. Зараз вже є готові скіли для Claude Code, які дають агенту контекст про Jev. Або просто кинути йому доку і попросити самого переробити свій workflow.

Планую цим зайнятись найближчим часом. Якщо вийде щось цікаве, напишу.

Взагалі, мені здається, це перша така епічна річ з часів анонсу ChatGPT, хіба шо ви нагадаєте щось інше, бо пам'ять вже не та. Ну і напишіть в коментах, шо у вас з Jev вже вийшло (на крайняк поставте лайк).