ساخت و آموزش یک مدل ۳۵۰ میلیون پارامتری از صفر با پایتورچ چقدر هزینه دارد و چه چالش‌هایی دارد؟

یک نفر در مقاله‌ای جذاب تمام جزئیات آموزش این مدل روی ۱۰ میلیارد توکن را با ۱۰۱ دلار هزینه روی کارت H100 منتشر کرده است.

چند نکته بسیار کلیدی از این تجربه عملی:

• استفاده از RMSNorm به جای LayerNorm با حذف میانگین‌گیری، سرعت آموزش را ۱۰ تا ۱۵ درصد افزایش داد بدون اینکه پایداری مدل افت کند.
• لایه SwiGLU در FFN حدود ۵۷ درصد کل پارامترهای مدل (۲۰۱ میلیون پارامتر) را تشکیل می‌دهد.
• فرمول‌های مختلط در RoPE باعث صدمه به عملکرد torch.compile می‌شد، بنابراین استفاده از مثلثات حقیقی سرعت را بالا برد.
• سخت‌افزار بسیار مهم است: آموزش روی H100 SXM نسبت به H100 NVL با فقط ۰.۱۰ دلار اختلاف قیمت در ساعت، سرعت را ۱.۷ برابر (از ۸۳k به ۱۴۰k توکن در ثانیه) افزایش داد.

لینک مقاله کامل:
http://john463212.substack.com/p/building-a-350m-transformer-from


@DevTwitter | <Mehdi Allahyari/>