Attention Drift: What Autoregressive Speculative Decoding Models Learn
[Статья][Код]

EAGLE (в особенности 3-ий) и MTP-головы стали уже довольно стандартными техниками ускорения инференса за счет предсказания нескольких токенов наперед.

Однако, длина принятия не так велика, как бы хотелось. Кроме того, драфтеры оказываются неустойчивы к изменению системного шаблона и длинным контекстам.

В данной работе провели анализ причин проблем драфтеров и предложили некоторые архитектурные улучшения.