Если используете llm внутри приложений и сервисов, которые собираете, для принятия решений, вышла очень интересная штука от typesafe.ai. Фаундер один из co-inventors chatgpt.

Во многих продуктах есть решения, которые сложно сделать просто детерминистически. Проверить, что 300 > 200, легко кодом. Но если нужно принять более взвешенное решение на основе разных, иногда неструктурированных данных, тут llm часто справляются сильно лучше.

Например, в сервисе, который строим для напитков, может вырасти цена на какой-то ингредиент. И нужно понять, что посоветовать пользователю: поднять цену блюда, уменьшить порцию, заменить ингредиент, изменить рецепт и тд.

Сейчас такие решения у нас принимает обычная llm через structured output. Это вполне рабочий вариант, но модель всё равно думает и генерирует ответ токен за токеном, а confidence внутри structured output не обязательно хорошо откалиброван.

Typesafe выпустили jev, модель специально для таких решений.

Заранее задаёшь возможные варианты, а модель сразу возвращает решение и вероятность каждого. Без генерации текста.

Обещают 20–200x быстрее и 40–400x дешевле обычных llm. И отдельно обучали модель так, чтобы confidence действительно соответствовал качеству решения.

Запись в waitlist .

P.S. Мне через пару часов уже прислали инвайт. Похоже, всем так.

@wealldesigners