به طور کلی، در حوزه مدل‌ های زبانی، دو رویکرد اصلی وجود داره: مدل‌های Autoregressive و مدل‌های Diffusion

مدل‌های Autoregressive متون رو بصورت کلمه به کلمه تولید میکنن، مثل مدل های رایج زبانی کنونی، این روش باعث میشه متن‌های روان و مرتبطی تولید شه، اما سرعت تولید اونها پایینه. در مقابل، مدل‌های Diffusion، ابتدا یک متن پر از نویز تولید میکنن و سپس با حذف تدریجی نویز، به یک متن قابل فهم میرسن. این روش امکان تولید موازی کلمات رو فراهم میکنه، اما در تولید متن‌های طولانی و دقیق و همچنین تخمین احتمال متن، ضعف دارن.

برای رفع این مشکلات، این مقاله مدل Block Diffusion معرفی کرده که مزایای هر دو رویکرد قبلی رو با هم ترکیب میکنه. این مدل مانند مدل‌ های Diffusion، ابتدا متن پر از نویز رو تولید میکنه، اما اون رو به بخش‌ های کوچک ‌تر (بلوک‌ها) تقسیم میکنه و سپس نویز هر بخش رو به صورت جداگانه حذف میکنه. این کار باعث میشه هم سرعت تولید متن بالا بره و هم دقت اون افزایش پیدا کنه. در واقع، مدل‌ Block Diffusion ، هم در کنار افزایش سرعت تولید متن کیفیت متن تولیدی رو افزایش داده


https://arxiv.org/abs/2503.09573