Не мог такое пропустить, потратил время чтобы самому разобраться и пересказать вам понятным языком:
TL;DR Вышла новая ИИ-модель, которая вместо текста выдаёт готовые решения с оценкой уверенности, в 200 раз быстрее и дешевле обычных LLM, но это скорее очень умный классификатор, чем замена GPT и Claude.
Стоит начать с того, кто вообще за ней стоит:
Это Диогу Алмейда, один из авторов статьи InstructGPT, той самой, после которой GPT-3 из автодополнения стал моделью выполняющей инструкции.
(То есть можно сказать стоял у истоков ChatGPT)
В 2024 он ушёл из OpenAI и основал стартап TypeSafe с такой логикой:
Почему ИИ способен решить 300-летнюю мат-задачу, но в поддержке клиентов до сих пор требует участия человека, чтобы принять простое решение?
Потому что модели обучены через RLHF, и их цель подобрать уверенный ответ который понравится человеку, даже если модель не знает ответа
Поэтому SaaS почти и не изменился с 2019 года. К нему просто прикрутили чатбота, и ИИ сделал софт дешевле в написании, но не умнее
Для этого и создан Jev:
У него нет той части LLM, которая генерирует язык, вместо этого он полностью сосредоточен на принятии решений.
Вы заранее задаёте варианты ответа, а модель параллельно считает вероятность для каждого и отвечает в виде JSON, а не токен за токеном
То есть, он не может:
- писать код и генерировать текст
- рассуждать шаг за шагом
- выдавать ответ на вопрос, который вы не задали заранее (галлюцинировать)
Но может:
- классифицировать, оценивать и размечать тонны данных, указывая уверенность
- выбирать нужный инструмент, модель или субагента
- проверять ответы других LLM
Да, обычную LLM тоже можно заставить отвечать JSON, но все равно остаются задержки генерации, валидация схем, повторы и куча вспомогательного кода
Предвижу такой воркфлоу:
LLM предлагает опции > Jev решает > код выполняет
Стоит $0.042 / 1M input (в 240 раз дешевле Fable 5.1), а output вообще бесплатно (потому что модель не пишет ответ по токену, а считает всё за один проход)
И быстрее в 20–200 раз в сравнении с похожими LLM
Хотя тут сравнение не совсем честное: Jev просто выбирает готовый вариант, а LLM сначала думает и пишет ответ слово за словом
Также не известны архитектура, размер, данные и число параметров. Как нет и не будет весов, что странно.
Известно только что обучили новым методом RLCD
В общем, это не замена GPT и Claude, скорее новый класс моделей, который сделает кучу задач безумно быстрыми и дешёвыми
Пока доступно только по API и только по вейтлисту (вроде даже реально выдают доступ пачками)
Eсть еще скилл для Claude Code:
claude plugin marketplace add typesafe-ai/skills
Мнение? 🤔
@tips_ai #news