این کاهش حافظه باعث میشه مدل های زبانی بزرگ روی سخت‌افزارهای ارزان تر و کم مصرف تر اجرا شن، که به افزایش دسترسی و مقیاس پذیری مدل‌های هوش مصنوعی کمک میکنه. همچنین، این روش کارایی رو بدون افزایش هزینه پردازشی بهبود میده، که خودش یه «نهار رایگان» در دنیای یادگیری عمیق محسوب میشه.
https://github.com/ZihanWang314/coe
Post #3938
3.48K
Tensorflow(@CVision) در مدل‌های MoE سنتی، پردازش داده ها به صورت موازی و مستقل انجام میشه، اما این روش باعث مصرف بالای حافظه و کاهش ارتباط بین متخصصان (Experts) میشه. این مقاله جدید با عنوان Chain-of-Experts (CoE) به معرفی یک روش جدید برای بهبود مدل‌های Mixture-of-Experts می…GitHub GitHub - ZihanWang314/CoE: Chain of Experts (CoE) enables communication between experts within Mixture-of-Experts (MoE) models Chain of Experts (CoE) enables communication between experts within Mixture-of-Experts (MoE) models - ZihanWang314/CoE
- 👍 7