LLaDA 2.1 - модель, которая умеет переписывать себя на ходу

Классическая проблема всех autoregressive-моделей:
если в начале генерации появилась ошибка — она тянется до самого конца.

Модель не может “передумать”.
Токены уже выданы — исправить их нельзя.

LLaDA 2.1 предлагает другой подход.

Это 100B diffusion-LLM с архитектурой *draft → edit*.

Как это работает:

- Сначала модель создаёт черновик
- Затем возвращается к тексту и редактирует его
- Может переписывать ранние слова, если они ухудшают результат
- Ошибки не накапливаются, а исправляются по ходу генерации

Почему это важно:

В autoregressive-LLM:
- одна ранняя ошибка → ухудшение всего ответа
- особенно критично для кода, рассуждений и длинных задач

В LLaDA:
- модель может пересмотреть решение
- улучшить структуру ответа
- повысить стабильность генерации

Производительность:

- До 892 токенов/с на сложных задачах по программированию
- Один из самых быстрых подходов среди альтернативных архитектур

Главная идея:

Будущее генерации — не просто писать токен за токеном,
а думать, проверять и переписывать результат.

Diffusion-LLM - один из самых интересных кандидатов на архитектуру следующего поколения.

🤗 HuggingFace: https://huggingface.co/collections/inclusionAI/llada21