‏Dust: Pretraining Transformers Without Backpropagation
‏پیش‌آموزش Transformer بدون backpropagation

‏نظر هوش مصنوعی — ⭐ ۷/۱۰
‏🎯 چرا مهمه: backpropagation دهه‌هاست ستون فقراتِ آموزشِ شبکه‌های عصبیه؛ هر رویکردی که بدونِ اون بتونه transformer رو pretrain کنه، می‌تونه محدودیت‌های حافظه و وابستگی‌های sequential رو به‌کل عوض کنه.
‏💡 نکته: حذفِ backprop در مرحله‌ی pretraining — نه fine-tuning — نشون می‌ده این رویکرد جاه‌طلبانه‌تر از اکثرِ کارهای مشابهه.
‏👥 برای کی: کسانی که روی ML infrastructure، training efficiency یا تحقیقات پایه‌ای روی LLM کار می‌کنن.

‏🔗 https://qlabs.sh/research/dust
‏#ai #LLM

‏@BenFeed