Вот это уже становится действительно интересно.
Unsloth выпустили готовые кванты и инструкции для Qwen3.8, и самый практичный вариант здесь — Qwen3.8-27B. Это уже не просто локальный чат-бот, а мультимодальная модель, ориентированная на кодинг, работу с инструментами и агентные сценарии.
Что особенно интересно:
🔹 27 млрд параметров — dense-модель, а не огромный MoE.
🔹 Vision из коробки — модель понимает не только текст, но и изображения/видео.
🔹 256K токенов контекста, а через YaRN заявлена возможность расширения до 1M.
🔹 Есть hybrid thinking: можно регулировать глубину reasoning — от
low до xhigh, либо вообще отключать thinking.🔹 Поддерживаются tool calling и вложенные вызовы инструментов — критически важная вещь, если мы хотим использовать локальную модель именно как агента, а не как генератор текста.
🔹 Есть сценарии запуска с Claude Code, Codex и другими coding-agent интерфейсами через локальную модель.
Но самое интересное — требования к железу.
4-bit Qwen3.8-27B занимает примерно 16–19 ГБ общей RAM/VRAM.
То есть модель такого класса уже реально запускать, например, на машине с RTX 4090/5080 или на Mac с 24 ГБ unified memory. Для 8-bit потребуется уже около 31 ГБ, BF16 — около 56 ГБ.
А по заявленным Qwen benchmark'ам модель очень серьезно выросла именно там, где мне интереснее всего смотреть на современные LLM — не в обычном чате, а в выполнении работы.
Например, Qwen приводит для 27B:
Terminal Bench 2.1 — 73.0
против 63.4 у Qwen3.6-27B.
SWE-bench Pro — 61.7
против 53.5.
CoWorkBench — 70.7
против 61.0.
А в мультимодальных агентных задачах особенно бросается в глаза OSWorld-Verified: 84.3. Разумеется, это результаты, опубликованные самим разработчиком модели, поэтому я бы воспринимал их прежде всего как ориентир для собственного тестирования.
И вот здесь, на мой взгляд, происходит важный сдвиг.
Раньше вопрос локальных моделей часто звучал так:
«Ну хорошо, она работает локально. Но зачем, если облачная модель намного умнее?»
Теперь вопрос постепенно меняется на:
«А зачем отдавать наружу код, документы и корпоративные данные, если модель, которая нормально видит, пишет код, вызывает инструменты и работает агентом, уже помещается в 20 ГБ памяти?»
Для enterprise-сценариев это потенциально намного интереснее очередного прироста баллов в абстрактном benchmark.
Буду тестировать именно Qwen3.8-27B как локальную модель для агентов.
📚 Документация Unsloth:
https://unsloth.ai/docs/models/qwen3.8
🤗 Официальный Qwen3.8:
https://github.com/QwenLM/Qwen3.8
🤗 Unsloth Qwen3.8 collection:
https://huggingface.co/collections/unsloth/qwen38
https://t.me/horizon_singularity
#Qwen #Qwen38 #Unsloth #LocalAI #AIAgents #LLM