Как построить Diffusion Language Model

#ai

Это, по сути, введение в диффузионные языковые модели, альтернативу авторегрессивным LLM, которые генерируют текст по токену слева направо. Вместо этого диффузия создает сразу всю последовательность и итеративно "денойзит" ее. Такой подход дает исправление ошибок, возможность менять скорость за счет числа шагов и двунаправленный контекст

Статья разбирает строительные блоки современных моделей - блочную диффузию для переменной длины, энкодер-декодер архитектуру, ремаскинг для исправления ошибок, дистилляцию для ускорения, контролируемую генерацию и постобучение.

Автор описывает реальные модели вроде Mercury 2, Gemma Diffusion, Nemotron Diffusion

https://kodikapusta.ru/news/1210-kak-postroit-diffusion-language-model

Поддержать проект на boosty и читать в MAX