سم آلتمن قبلا هم به این موضع اشاره کرده بود که OpenAI به لحاظ حاشیه سود در مضیقه قرار داره جا داره یه نگاه به مدل درآمدی deepseek بندازیم!

بیایم عملکرد و هزینه‌های سرویس استنتاج مدل‌های DeepSeek-V3 و R1 مورد بررسی قرار بدیم، تحلیلی شامل بررسی سخت‌افزار، بهره‌وری، هزینه‌ها، درآمد و حاشیه سود این سرویس در یک بازه ۲۴ ساعته و ببینیم چند چنده ؟

دیپ سیک از کارت‌های گرافیک H800 برای ارائه خدمات استنتاج استفاده می‌کنه که به دلیل عملکرد بالاش، انتخاب مناسبی برای پردازش مدل‌ های بزرگ زبانی محسوب میشه. نکات کلیدی مربوط به زیر ساخت و محاسبات به شرح زیره:

تمامی محاسبات متریک و ارسال داده‌ها از FP8 استفاده میکنه، که باعث بهینه‌ سازی سرعت پردازش و کاهش نیاز به حافظه میشه


محاسبات اصلی MLA (Matrix Learning Accelerator) و ارسال داده‌ های ترکیبی بر پایه BF16 اجرا میشن، که دقت مناسبی در برابر FP8 ارائه میده

برای مدیریت بار، در ساعات پر ترافیک تعداد نود های استنتاج افزایش یافته و در ساعات کم‌ بار بخشی از منابع به تحقیق و آموزش اختصاص داده میشه.

ادامه داره ...