JEV-35B: быстрая decision-модель на базе Qwen3.5, активирует всего 3B параметров из 35B

AutoTrust Labs выпустила JEV-35B, модель для быстрых решений в духе System 1. Она построена на Qwen3.5-35B-A3B и за счёт MoE-архитектуры активирует на токен лишь около 3B из своих 35B параметров. Лицензия Apache 2.0.

Главная идея в том, чтобы не гонять полноценное рассуждение там, где нужно просто быстро выбрать лучший вариант. За один проход модель сравнивает до 256 текстовых или графических опций и возвращает откалиброванные вероятности. Медианная задержка одиночного запроса в их тестах около 204 мс.

По метрикам JEV-35B обходит прошлую JEV-27B-VL на публичном наборе Decision Index, сохраняя при этом конкурентное качество на визуальных решениях.

Отдельно порадует возможность запустить локально. Версия в NVFP4 весит всего 25,6 ГБ и занимает под веса около 23 ГиБ, так что помещается на одну видеокарту на 32-48 ГБ. При этом квантизация сохраняет 96,6% решений исходной BF16-модели почти без потерь по скорости и с небольшой просадкой на бенчмарках.

Запускается через приложенный скрипт для vLLM. Эндпоинт /v1/decide отвечает за быстрые решения System 1, а OpenAI-совместимые эндпоинты за более медленное рассуждение System 2.

🤖 https://modelscope.ai/collections/AutoTrust-Labs/JEV-35B