Трансформеры, лежащие в основе LLM, создают текст токен за токеном (авторегрессионно). Но это не единственный путь.

Последние год-два (совсем недавно по меркам изобретения трансформеров) начал активно изучаться подход, где генерация токенов происходит параллельно — с помощью диффузии, той самой, которая рисует нам картинки и видео. Теоретически это даёт кратное ускорение, а также позволяет заполнять пропуски в тексте.

Сейчас уже прошло достаточно времени, чтобы порассуждать о работоспособности нового метода. Это сделали исследователи из AIRI вместе с коллегами из Sber AI, написав большой разбор на основе собственного опыта взаимодействия с dLLM. Этот текст на днях вышел в нашем блоге на Хабре.