Если хочется нормальную модель для кода на домашней карте — Qwen3.8-27B сейчас один из лучших вариантов. Но просто скачать её с Hugging Face и запустить в своём движке мало: результат часто разочаровывает. Нужен правильный маршрут.
Основа — llamAmpere, форк llama.cpp специально под Ampere. В v0.5.4 на одну карту 24 ГБ влезает весь контекст на 262 144 токена, а сжатый KV-кэш SJ-KVaRN экономит память и ускоряет декод на длинных диалогах.
Что делаем по шагам:
- ставим CUDA (тестировали на 12.4, на 13.1 тоже работает), cmake и gcc не выше 14;
- патчим заголовок CUDA
math_functions.h, чтобы собралось с gcc-15;- компилируем llamAmpere;
- через Hugging Face client качаем модель (~15,6 ГБ) и отдельный исправленный chat template;
- запускаем движок и цепляем агент — например, claude-code.
Отдельно про шаблон: родной часто ломает KV-кэш и устраивает агентные зависания. Берём универсальный Qwen-Fixed-Chat-Templates — один jinja-файл, и проблема закрыта.
Источник: habr.com
@ai_n_hardware