О, новые типы моделей, наконец-то!

Один из ранних разработчиков ChatGPT представил модель, которая на вопрос с заданными вариантами ответов, возвращает набор вероятностей.

Если обычные языковые модели пишут текст в ответ на открытые вопросы, то эта супер быстро и качественно выбирает правильные ответы из multiple choice (выбери один правильный).

Обычные большие языковые модели (LLM) предсказывают токены (слова) последовательно, а тут ты получаешь все распределение сразу.

И работает она супер быстро, за сотни миллисекунд. В демо, модель играет в Doom, отвечая на вопрос «какую из клавиш на клавиатуре нажать?» 10 раз в секунду.

Стоит она при этом как копье, в примере с Doom — 7$ в час (при 10 запросах в секунду)! Пока только API доступ, по инвайтам, заявки оставлять по ссылке.

Очень хорошее описание с интерактивными примерами и видео, образцовый технический анонс, короткий и емкий, рекомендую прочитать первоисточник.

(да, это просто очень качественный, дешевый и быстрый классификатор не требующий дообучения)