У новых Qwen появился MTP - multi-token prediction. Модель за один шаг пытается предсказать не один следующий токен, а сразу несколько.

Я уже писал про похожую идею в посте про speculative decoding: t.me/mlphys/254

Там несколько токенов вперёд генерит маленькая draft-модель, а большая модель проверяет их одним прогоном.

В MTP draft-модель не отдельная. Вместо этого внутри самой модели есть дополнительная MTP-head, которая накидывает следующие токены вперёд на основе хиден стейта большого трансформера. Потом основной transformer проверяет их и коммитит только совпавший префикс.

DeepSeek уже делали похожее: MTP-голова предсказывает до 5 будущих токенов. Теперь Qwen тоже использует этот трюк.

Смысл простой: авторегрессия всё ещё остаётся авторегрессией, но если модель угадывает несколько токенов подряд, за один шаг можно выплюнуть не один токен, а несколько.

https://huggingface.co/collections/Jackrong/qwen-mtp