DEdit: Iterative Draft Editing for Speculative Decoding

📄 Статья

Параллельные драфтеры (DFLash и его производные) стали уже общепринятой техникой ускорения инференса авторегрессионных моделей. Но чтобы ускорять дальше, надо как-то повышать длину принятия.

Есть архитектурные примочки (Domino, DSpark, DFlash2), деревья (DDTree), но можно пробовать улучшать качество предсказаний драфта за счёт итеративного улучшения, как в диффузиях.