Прикольно, что прогресс моделей, которые пишут текст, меня уже не удивляет. Астра и Фейбл очень классные, но это «ещё лучше», а не «по-другому». А вот когда появляется ИИ, который не обязательно как чат для общения, а заточен под другое -- оч прикольно бывает.

Jev — модель от TypeSafe AI, стартапа выходца из OpenAI. Она не чат и вообще не пишет текст. Вы даёте ей текст и список вопросов с заранее заданными типами ответа: «да/нет», «один из вариантов», «оценка от 1 до 10». Она отвечает на все вопросы сразу, за один проход, и к каждому ответу прикладывает вероятность. Ответ всегда нужного типа, а стоит это почти ничего: вход четыре цента за миллион токенов, выход бесплатно, ответ за 100–500 мс.

Мне очень понравился ролик про умный дом. Там чат, куда пишешь «включи свет в гостиной» или «запри весь дом», и макет дома, где это происходит. Само по себе не новость, такое и обычная модель умеет. Интересно, как это сделано.

Обычно такую задачу пишут как дерево вопросов. Это команда для дома или просто вопрос? Команда. Одна или несколько? Одна. Про весь дом или про конкретное устройство? Про устройство. Какое? Свет. Что с ним сделать? Включить. Каждый вопрос зависит от предыдущего, и с обычной моделью это либо пять походов по очереди, либо один большой промпт с молитвой, чтобы она вернула правильный JSON. И в обоих случаях ждёшь. Меня это в моделях раздражает сильно: вопрос тупой, «про свет или про музыку», а модель уходит думать на десять секунд, или сидишь и ждёшь три запроса подряд.

В демо все эти вопросы задают Jev разом, одним вызовом. Включая те, которые «не понадобятся»: на «включи кофеварку» модель заодно ответила, что делать с замками (79% «открыть», 21% «закрыть», то есть честно не знает, потому что команда не про замки). Код на этот ответ просто не смотрит. А если бы команда была «запри дом», ответ про замки уже лежал бы готовый, без второго похода к модели. Автор называет это speculative prompting, по аналогии с процессорами, которые считают обе ветки if-а, не дожидаясь условия. Весь вызов занял 185 мс, на картинке он целиком.

То есть дерево решений остаётся, но живёт в вашем коде, а не в диалоге с моделью. Модель не спрашивают по очереди, ей отдают всю анкету. Это возможно только потому, что каждый лишний вопрос стоит ноль и не добавляет времени. А там, где нужен текст, зовут обычную LLM: составную команду «выключи свет на кухне и запри кабинет» Jev распознаёт как составную (98%), Haiku режет её на две, и каждую снова прогоняют через Jev. Дешёвая модель стоит на входе и решает, кому что отдать.

Пример попроще. Денис из Sexy IT прогнал через Jev полторы тысячи постов своего канала: минута и восемь центов. Если то же самое делать обычной моделью, она на каждый пост пишет текст: «тема: ИИ, тон: ироничный, ссылка: есть». Этот текст надо парсить, за каждое его слово вы платите, а иногда модель придумает категорию, которой вы не просили. Jev текста не пишет. Вы задаёте про каждый пост столько вопросов, сколько хотите, и получаете обратно только цифры: вероятности по каждому варианту. Выход бесплатный, так что вопросов может быть хоть сто, и цена не изменится.

Честные оговорки. У анкеты есть обратная сторона: все вопросы и все варианты ответов надо придумать заранее, самому. Забыли вариант — модель уверенно выберет из тех, что есть. На Hacker News за это запуск и разнесли: «не галлюцинирует» — лукавство, ответ правильного типа не значит правильный ответ. Архитектура закрыта, но один энтузиаст за десять тысяч запросов вычислил, что это обычный трансформер, у которого вероятности снимают напрямую, без генерации, а вопросы считаются параллельно.

Более того, высчитав как они это делают, энтузиасты уже делают похожие по идее модели, но ещё локальные и опенсорсные. Laya, например.

Сам я пока не пробовал, но задачу себе уже завёл: прогнать через Jev автотегирование документов на работе. Расскажу, что вышло.

Потыкать: typesafe.ai, анонс, обсуждение на HN.