Превратите любой авторегресcивный LLM в диффузионную языковую модель.

dLLM — это Python-библиотека, которая объединяет обучение и оценку diffusion-LM.
С её помощью можно превратить любой авторегресcивный LLM в diffusion-LM с минимальными вычислительными затратами.

Проект полностью open source. 👌

Почему это важно:

Классические авторегресcивные модели генерируют текст слева направо, по одному токену за раз.

Диффузионные модели работают иначе » они итеративно уточняют всю последовательность целиком.

В итоге:

- больше контроля над качеством генерации
- гибкое редактирование текста
- меньше ограничений, связанных с порядком генерации

👉 @PythonPortal