بیشتر مدل‌های زبانی بزرگی که تا کنون دیدیم (LLMs)، از نظر روش مدل‌ سازی اصلی، تقریباً شبیه به هم هستن و همشون به صورت Autoregression آموزش داده میشن، یعنی کلمات رو از چپ به راست پیش‌ بینی میکنن.

روش Diffusion متفاوته، از چپ به راست حرکت نمی‌کنه، بلکه همه چیز رو یکجا تولید میکنه. شما با نویز شروع و به تدریج نویز رو حذف میکنین تا به یک جریان از کلمات برسین.

بیشتر ابزارهای هوش مصنوعی تولید تصویر و ویدیو، در واقع با همین روش کار میکنن و از روش Diffusion استفاده میکنن، نه Autoregression.

به عنوان مثال، مدل‌هایی مانند DALL-E، Stable Diffusion و Midjourney از این روش برای تولید تصاویر واقع‌ گرایانه و خلاقانه استفاده میکنن.

قبلاً تلاش هایی برای استفاده از این متد برای تولید متن شده بود اما به شکل تجاری هیچ کدوم مورد استفاده قرار نگرفته بودن، این اولین استفاده تجاری هست و موفقیت اون تاثیر بسزایی در آینده مدل های زبانی خواهد داشت