Decision 2.0

Семейство открытых decision-моделей от vLLM Semantic Router. Не генерируют текст, а отвечают на вопросы с вариантами ответа, да/нет или по шкале — сразу вероятностью для каждого варианта, одним проходом.

• Ответ на вопросы выбора, да/нет и по шкале за один проход
• Вероятность для каждого варианта вместо генерации текста
• Вход — текст или JSON
• Режим роутинга запросов: какой команде отдать тикет, есть ли чек, насколько срочно

• 6 размеров: от 0.6B до 27B (Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B, Kai-0.6B)
• Контекст 32,768 токенов
• Медиана 71.4 мс на вопрос на одной GPU

Vega-27B — лучший в семействе, топ-скоор JevArena для своего размера (74.0)

github.com/vllm-project/semantic-router

Спасибо @m_franz

#decision #rlcd

MAX