⚡ Для решения «куда отправить запрос» не всегда нужна модель, которая пишет целый ответ.

Decision 3.0 от команды vLLM Semantic Router: семейство открытых моделей размером от 0,6B до 27B, работающих с текстом, изображениями и видео.

На входе задаёте контекст и вопросы. На выходе получаете:

• выбор из предложенных вариантов;
• ответ «да / нет»;
• оценку по заданной шкале;
• вероятности вариантов.

Без генерации текста. Например, можно определить отдел для обращения, проверить наличие товара на приложенном чеке и оценить срочность.

По внутренней оценке команды, старшая d3 занимает первое место в их сравнении на текстовом и визуальном Jev Decision Index 0.3.1. Заявленная медианная задержка: 55 мс для текста и 273 мс с изображением на AMD MI325X.

Лицензия Apache 2.0. Любопытный вариант для маршрутизации, классификации и узких решений внутри агентных систем.

https://huggingface.co/vllm-sr/d3