Берем основную рабочую модель Qwen 3.8 27B или Qwen 3.8-Flash-Next
В качестве младшего сотрудника берем Qwen 3.8 9B, он будет работать как пулемет (очень быстро выдавать токены)
Он набрасывает 4–5 токенов черновика вперед, а старший проверяет их все разом
Качество ответа: 100% эталонное, как у старшей модели
Скорость: вырастает в 1.5–2.5 раза
ГЛАВНОЕ ПРАВИЛО
Скрещивать разные поколения и архитектуры нельзя = Один производитель, одно поколение, то есть:
— Qwen 3.8 тяжелая модель + Qwen 3.8 легкая модель
— Ornith 1.5 397B тяжелая модель + Ornith 1.5 8B легкая модель
— Gemma4 тяжелая модель + Gemma4 легкая модель
— DeepSeek V4.1 Flash + специально обученный дистиллят DS4.1
В иных случаях будет ошибка
КАК ЗАПУСТИТЬ?
Не буду тут душить кучей терминальных команд, существенно проще через Codex сделать
1. Попросить установить нужный апдейт (pip install --upgrade mlx-lm) / (под NVIDIA уже есть все из коробки)
2. Далее это выглядит так:
--model mlx-community/Qwen3.8-27B-Instruct-4bit \
--draft-model mlx-community/Qwen3.8-9B-Instruct-4bit \
--prompt "Напиши змейку на Python" \
--num-draft-tokens 4
Просто указывается одной командой младшая модель и количество токенов для перепроверки
И все работает!
👍 — прикольно, надо тестить
👨🚒 — а комп где взять под это?
🪐 Вездесущий ИИ | Чат с админом | Консультация