Разработчики из DreamLM сделали Diffusion LLM, которая умеет вставлять недостающие фрагменты кода любой длины прямо во время генерации. Это значит — никакого ограничения на размер “маски” и больше свободы при автодополнении.
🔥 Фишки
— Заполнение кода в любом месте файла, без заранее заданной длины вставки.
— Несколько алгоритмов генерации (`entropy`,
maskgit_plus, `topk_margin`). — Возможность наблюдать процесс инфиллинга по шагам.
— Поддержка Python через
transformers и torch.⚡ Пример запуска
from transformers import AutoModel
model = AutoModel.from_pretrained("Dream-org/DreamOn-v0-7B", torch_dtype="bfloat16", trust_remote_code=True).to("cuda").eval()
output = model.diffusion_generate(..., alg="entropy", max_new_tokens=64)
🔗 GitHub: https://github.com/DreamLM/DreamOn
🔗 Модель: https://huggingface.co/Dream-org/DreamOn-v0-7B