مدل‌های رایگان گران قیمت

مدل‌هایی مثل Llama 4، Gemma 4، DeepSeek V3 و Qwen 3 در ظاهر «رایگان» و متن‌باز هستن، اما این رایگان بودن فقط تا وقتی معنی داره که داخل یک نوت‌بوک یا محیط تستی ازشون استفاده کنی. به محض اینکه وارد فضای واقعی و پروداکشن بشی، هزینه‌ها شروع می‌شن و عملاً اون چیزی که رایگان به نظر می‌رسه تبدیل به یک زیرساخت گران و پیچیده می‌شه. دلیلش هم اینه که هزینه اصلی این مدل‌ها نه خود مدل، بلکه اجرای پایدار، سریع و مقیاس‌پذیر اون‌هاست.

مدل‌های کوچک‌تر که بین ۸ تا ۳۰ میلیارد پارامتر دارن، معمولاً روی سیستم‌های شخصی با ۲۴ تا ۴۸ گیگ VRAM اجرا می‌شن و بیشتر برای تست، یادگیری و ساخت نمونه اولیه مناسب هستن. اما وقتی وارد مدل‌های متوسط مثل ۷۰ میلیارد پارامتر می‌شی، فقط برای نگه‌داشتن وزن مدل به ۷۰ تا ۱۴۰ گیگ VRAM نیاز داری و دیگه یک کارت گرافیک معمولی جواب نمی‌ده؛ در نتیجه باید سراغ سرورهای ابری بری که هزینه‌شون ماهانه به چند هزار دلار می‌رسه.

در سطح بالاتر، مدل‌های بزرگ MoE مثل Llama 4 Maverick با ۴۰۰ میلیارد پارامتر، Qwen 3 با ۲۳۵ میلیارد یا DeepSeek V3 با ۶۷۱ میلیارد پارامتر قرار دارن که برای اجرا به صدها گیگ حافظه تجمیعی نیاز دارن. حتی با کوانتیزه‌سازی هم هنوز به زیرساخت چند GPU قدرتمند مثل H100 یا H200 احتیاج داری و اگر بخوای کانتکست طولانی هم پشتیبانی کنی، مصرف حافظه (KV cache) عملاً هزینه و نیاز سخت‌افزاری رو تا نزدیک دو برابر بالا می‌بره.

اگر این سیستم‌ها رو بخوای ۲۴ ساعته اجرا کنی، هزینه ماهانه بسته به سطح مدل از حدود چند هزار دلار برای مدل‌های کوچک شروع می‌شه و تا نزدیک صد هزار دلار برای مدل‌های خیلی بزرگ می‌رسه. این فقط هزینه خام اجرای مدل هست و هنوز هزینه‌های جانبی مثل مهندسی زیرساخت، مدیریت سروینگ (مثل vLLM و batching)، سیستم‌های مانیتورینگ و ارزیابی، فاین‌تیونینگ، ذخیره‌سازی داده و حتی تیمی که این سیستم رو نگه‌داری می‌کنه حساب نشده.

به همین دلیل در عمل، خیلی از تیم‌ها بعد از بررسی هزینه‌ها به این نتیجه می‌رسن که استفاده از APIهای آماده مثل OpenAI یا Anthropic به‌صرفه‌تر از راه‌اندازی و نگه‌داری زیرساخت GPU اختصاصی است، چون اون‌ها همه این پیچیدگی‌ها و هزینه‌های پنهان رو در قالب یک قیمت ساده به ازای هر توکن مدیریت می‌کنن.

@DevTwitter | <Reza Jafari/>