🤖این مدل با معماری Mixture-of-Experts (MoE) و ۶۷۱ میلیارد پارامتر طراحی شده است که تنها ۳۷ میلیارد پارامتر در هر توکن فعال می‌شوند، و بر روی ۱۴.۸ تریلیون توکن با کیفیت آموزش دیده است حال این مدل MOE میخواییم در محیط داکر پیاده سازی کنیم به صورت step by step