Теперь тестируем движок Radiance, который является отдельным движком для моделей Qwen. Это не vllm fork. Почти никто за пределами собственного трекера задач не писал о нем. Движок стал доступен публике около 12 дней назад, и я не нашел независимых обзоров, блог постов или обсуждений на Reddit.
Qwen3.8-Flash-Next: 4-bit experts, int8 trunk, MTP, vision.
Контекст: 200K токенов на запрос из пула около 1,0M токенов, примерно 5 полных сеансов, с 8 последовательностями одновременно.
Holy fuck, господа присяжные заседатели. Надо проверить, нет ли в этом подвоха, потому что если его нет, то мы это оставляем.
Post #2366
133
