🧩 Метод

DEdit предлагает следующее:

- 🔹 На первом проходе делаем первичное предсказание.
- 🔹 На каждом последующем проходе, обусловливаясь предыдущим, пытаемся его улучшить.

Далее авторы вводят Proposal Mix (что-то наподобие teacher forcing): для high-confidence токенов с последнего предсказания модели подаём ground truth на вход следующему прогону модели, а low-confidence — as is. Утверждается, что это полезно.

Веса для первичного прохода и редактирования одни и те же.

Кроме того, ещё делают расширение окна. Сначала учат на одном, меньшем размере окна, а потом его расширяют (16 → 24 → 32), уменьшая скорость затухания экспоненты в позиционном взвешивании лосса по токенам.

🧪 Эксперименты

Метод валидируют поверх DFlash / DSpark на стандартном наборе бенчей для спекдека.

В своём боевом сетапе используют размер окна 32 и 3 прохода против 16 у бейзлайнов.

Получают acceptance length на 0,5–1 больше, чем у бейзлайнов, и прирост ускорения против ванильной авторегрессионной генерации — 0,3–0,5x. Однако все замеры — для batch_size=1 и, по всей видимости, через ванильный торч, а не vLLM / SGLang-интеграцию.

В ablation показывают, что именно итеративная генерация позволяет эффективно использовать более широкие окна (W=2), а для одношагового прохода окна больше 16 бесполезны. Proposal Mix даёт небольшой прирост длины принятия.

📝 Выводы

Идея итеративного улучшения предсказания моделью выглядит разумной, но непонятно, насколько увеличение стоимости драфтинга за счёт нескольких проходов окупится в сценариях high-concurrency serving на эффективных движках инференса. Кроме того, нет сравнения с опцией просто увеличить драфт-модель до той же стоимости прямого прогона.