🔵 عنوان مقاله
GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model (12 minute read)

🟢 خلاصه مقاله:
در طول شش ماه گذشته، شرکت Meta توانسته است عملکرد مدل پایه‌ی مربوط به تبلیغات خود را به طرز شگفت‌انگیزی بهبود ببخشد. این شرکت با بهره‌گیری از مجموعه‌ای از فناوری‌های نوآورانه، موفق شده است مدل پیشنهادی تبلیغات خود را چهار برابر بزرگ‌تر کند و در نتیجه، کارایی آموزش آن را دو برابر افزایش دهد. این تغییرات در کارایی، از جمله افزایش بهره‌وری در فرآیند آموزش مدل‌های بزرگ زبانی (LLMs)، نقش بسزایی ایفا می‌کنند و Meta را در رقابت‌های جهانی پیشروتر کرده‌اند.

برای دستیابی به این نتایج چشمگیر، Meta پنج تکنیک کلیدی را به کار گرفته است. نخست، استفاده از مکانیزم توجه سریع و انعطاف‌پذیر (جگد فلش اتنشن) که می‌کوشد تا هدررفت ناشی از قسمت‌های padding را حذف کند و فضای بیشتری را برای عملیات مفید فراهم آورد. دوم، ایجاد هسته‌ی یکنواخت توجه که با سرعت ۲ تا ۳.۵ برابری، عملیات محاسباتی را به صورت موثرتری انجام می‌دهد. سوم، آموزش با استفاده از دقت MXFP8، که بهره‌وری را در مدل‌سازی افزایش می‌دهد و زمان لازم برای آموزش را کاهش می‌دهد. چهارم، فناوری ارتباط جمعی بدون سی‌ام (SM-free) که توانایی جمع‌آوری داده‌ها را بدون نیاز به منابع اضافی، نزدیک به ۲۳ واحد SM (واحدهای محاسباتی) آزاد می‌کند. و در نهایت، تکنیکی به نام جابه‌جایی تعادل بار، که باعث افزایش ۴ درصدی کارایی می‌شود بدون اینکه هزینه‌ای برای ارتباط درون سیستم داشته باشد.

این پیشرفت‌ها نشان می‌دهند که با ترکیب خلاقانه فناوری‌های نوین، می‌توان مدل‌های هوشمند را بسیار بهینه‌تر و کارآمدتر ساخت و در عین حال، زمان و منابع مورد نیاز برای آموزش آن‌ها را کاهش داد. این موفقیت‌ها مسیر را برای توسعه فناوری‌های تبلیغاتی و مدل‌سازی زبان طبیعی در آینده هموارتر می‌کنند و Meta را در صدر رقابت‌های فناوری قرار می‌دهد.

#هوش_مصنوعی #یادگیری_عمیق #مدل_زبانی #تکنولوژی‌‌های_نوین

🟣لینک مقاله:
https://engineering.fb.com/2026/08/03/ml-applications/training-gem-at-llm-scale-meta-ads-recommendation-foundation-model/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy