📹 Qwen 3.8 27B GSC-RCO. Качество FP8 на одной 3090?
Мне посоветовали попробовать квант Qwen 3.8 27B — GSC-RCO, у которого другая механика квантования и по бенчмаркам качество не отстаёт от FP8. И так совпало, что одну из моих 3090 как раз переводили на воду — а работать с локальной моделью надо.
Запустил квант на одной 3090: уместилось 220 000 контекста в 23.1 ГБ с vision. Прогнал модель через реальные задачи
Видео по ссылкам ниже:
📹 YouTube | VK | Rutube | Dzen 📹
🎓 Мое платное сообщество 🎓
Post #1183
1.58K