🔥 Веса серии моделей Qwen 3.5 Medium в формате FP8 открыты и готовы к продакшену
Теперь доступны FP8-версии моделей Qwen 3.5 - оптимизированные для высокой производительности и снижения затрат на инференс.
Что это даёт:
- более быстрый инференс
- меньшее потребление памяти
- оптимальный баланс скорости и качества
- готовность к развёртыванию в продакшене
Поддержка из коробки:
- vLLM
- SGLang
FP8-точность позволяет значительно ускорить рабочие процессы без заметной потери качества — особенно полезно для высоконагруженных AI-сервисов.
Скачать веса:
Hugging Face: https://huggingface.co/collections/Qwen/qwen35
ModelScope: https://modelscope.cn/collections/Qwen/Qwen35
Post #4766
5.89K

- 👍 15
- ❤ 7
- 🔥 5