Российские исследователи нашли способ улучшить качество текста и кода в моделях маскированной диффузии

Исследователи из лаборатории научных исследований Т-Технологий и Института ИИ и цифровых наук ФКН НИУ ВШЭ разработали G-Star+ — новый метод для моделей маскированной диффузии, который улучшает генерацию текста и кода. Работу представили на ML-конфе ICML 2026 в Сеуле.

Проблема таких моделей для генерации текста и кода в том, что они заменяют замаскированные элементы на токены постепенно. Если модель ошибается на раннем этапе, исправить ошибку потом сложно: выбранные токены больше не пересматриваются.

Авторы предлагают решить эту проблему с помощью Guided Star-Shaped sampler. По сути, это «внутренний редактор» модели: он находит подозрительные токены, маскирует их и дает модели возможность переписать их позднее.

При этом подход не требует полного переобучения модели: достаточно дообучить один дополнительный слой. Модуль обучается не на искусственных грубых ошибках, а на реальных, которые допускает сама модель и которые сложнее обнаружить, чем очевидно случайные замены.

На практике метод оказался особенно полезен в режимах быстрой генерации (64–256 шагов), где время на исправление ошибок ограничено. G-Star+ был оценен на семи бенчмарках и может использоваться в ИИ-ассистентах, инструментах генерации и автодополнения кода и в других системах, где одновременно важны скорость работы и качество ответа.

Статья