Час назад в репу llama.cpp был добавлен пулл-реквест, добавляющий поддержку MTP для Qwen Flash Next. Автор изменения, am17an, потратил на разработку и отладку функциональности 17 часов. Это обновление позволяет использовать механизм предсказания нескольких токенов, что потенциально повышает скорость генерации. Квантованные веса модели уже доступны для скачивания на Hugging Face в формате GGUF.

на DGX Spark скорость генерации достигает 65 токенов в секунду. При этом важно учитывать, что MTP может требовать больше оперативной памяти по сравнению с квантами от Unsloth, так как кэш не разделяется.

Вообще не понятно стоит ли юзать MTP для MoE-архитектур. Ранее считалось, что ускорение для таких моделей незначительное, но новые данные показывают прирост в 1.4-1.5 раза.