. На срезе из 200 задач SWE-bench модель набрала 53.33%. Для 9B это очень хорошая цифра, потому что обычно такие результаты ждут от моделей заметно крупнее и дороже в запуске.
Отдельно модель прогнали на HermesAgent-20. Там она получила 85 баллов против 71 у базовой версии. То есть дообучение дало не косметический прирост, а нормальный скачок именно в агентных сценариях.
Интересная деталь: авторы прямо советуют запускать её «горячо», с
--temp примерно 1. Для таких fine-tune моделей это помогает сильнее отходить от поведения базовой модели и меньше застревать в чрезмерном обдумывании. Если начинает вести себя нестабильно, температуру можно постепенно снижать.
Следом обещают выпустить Qwopus 3.6 27B. Предварительная оценка уже лежит в HF-репозитории автора, полный релиз модели должен выйти скоро.
https://huggingface.co/Jackrong/Qwopus3.5-9B-Coder-GGUF
@ai_machinelearning_big_data