اگه با مدل‌های هوش مصنوعی کار کرده باشی، احتمالاً دیدی که سیستم سریعاً پر از مصرف RAM میشه. اما چرا این اتفاق میفته؟ بیاید ساده و فنی بررسی کنیم 🧠
⚡ وزن‌های عظیم مدل‌ها
هر مدل هوش مصنوعی شامل میلیون‌ها یا حتی میلیاردها پارامتره. این پارامترها همگی به صورت ماتریس‌ها ذخیره میشن و هر بار که مدل لود میشه، باید داخل RAM قرار بگیرن. مثلاً یک مدل مثل GPT-3 چند صد گیگ فقط وزن داره!
⚡ محاسبات و داده‌های موقت
جدا از وزن‌ها، موقع پردازش هر ورودی، کلی داده‌ی موقت (activationها، gradientها و cacheها) ساخته میشه. این داده‌ها برای هر لایه ذخیره میشن و باعث چند برابر شدن مصرف RAM میشن.
📌 خلاصه اینکه مصرف بالای رم در هوش مصنوعی ترکیبی از وزن‌های بزرگ مدل و محاسبات موقتیه. برای همین کارت‌های گرافیک و سرورها با RAM بالا حیاتی هستن.
📌 مرجع تخصصی هوش مصنوعی و علم داده
🤖 دیتایاد / datayad@