بازه ۲۴ ساعت رو در نظر بگیریم:

بیشترین تعداد نود مشغول: ۲۷۸ نود (هر نود دارای ۸ کارت H800 هست)

میانگین استفاده از نودها: ۲۲۶.۷۵ نود در هر لحظه

هزینه اجاره سخت‌افزار: با فرض ۲ دلار در ساعت برای هر GPU، هزینه کل برابر با ۸۷,۰۷۲ دلار در روزه

این آمار نشون میده که DeepSeek به‌طور مؤثری از منابع سخت‌افزاری استفاده کرده و با کاهش نودها در زمان‌های کم‌بار، هزینه‌ ها رو مدیریت می‌ کنه.

تعداد کل توکن‌های ورودی: ۶۰۸ میلیارد توکن
از این مقدار، ۵۶.۳٪ (۳۴۲ میلیارد توکن) در کش دیسک (on-disk KV cache) پردازش شده که نشون دهنده استفاده مؤثر از کش برای کاهش هزینه‌های پردازشه!

تعداد کل توکن‌های خروجی: ۱۶۸ میلیارد توکن

سرعت تولید خروجی: ۲۰ تا ۲۲ توکن در ثانیه

میانگین طول KV cache برای هر توکن خروجی: ۴,۹۸۹ توکن

توان پردازشی هر نود H800:
در مرحله prefill (ورودی اولیه): ۷۳.۷ هزار توکن در ثانیه (با احتساب کش)

در مرحله decoding (تولید خروجی): ۱۴.۸ هزار توکن در ثانیه

این داده‌ها نشون میدن که مدل DeepSeek-V3/R1 توان پردازش بسیار بالایی داره و با بهینه‌سازی کش، بهره‌ وری پردازش رو افزایش داده!

ادامه داره...