Large Language Diffusion Models
[Статья] [Страничка проекта] [Код и модели божатся выложить через 2 недели]

На текущий момент авторегрессионные модели занимают доминирующее положение среди языковых моделей, а диффузия блистает в других приложениях. Ранее уже предпринимались попытки создания языковых моделей на основе диффузионных процессов (https://arxiv.org/abs/2406.07524, https://arxiv.org/abs/2409.02908, https://arxiv.org/abs/2406.04329), но получить что-либо конкурентоспособное тем же флагманским открытым моделям - не удавалось.

В данной работе коллектив авторов из Поднебесной 🇨🇳 произвел не свет masked диффузионную модель, с качеством якобы на уровне Llama-2/3. И модель называют не абы как, а в честь легендарной автомобильной марки - LLaDA.