Бывший исследователь OpenAI сделал ИИ, который принимает решения почти в 200 раз быстрее и 445 раз дешевле обычных LLM. Его стартап TypeSafe AI показал Jev: вместо генерации текста модель сразу выдаёт готовые варианты с вероятностями.

В DOOM модель принимала около 10 решений в секунду, а весь запуск стоил примерно $7 в час. Благодаря уникальному формату у Jev вообще нет «галлюцинаций». Но выбрать неправильный ответ она всё ещё иногда может.

Миллион входных токенов стоит $0,042, а выходные — бесплатные.

@typespace