تو پست قبلی بررسی کردیم که چرا یه مدل ۷ میلیاردی می‌تونه مدل ۱۳ میلیاردی رو شکست بده و یه اشاره کوچیک به «قانون چینچیلا» کردیم. 🚀
اما داستان این قانون چیه و چرا تا قبل از ۲۰۲۲، غول‌های تکنولوژی داشتن میلیارد دلاری خرج می‌کردن تا مدل‌های «کم‌سواد» بسازن؟
تا سال ۲۰۲۰ و با مقاله معروف OpenAI (قوانین Kaplan)، یه باور عمومی وجود داشت:
«برای باهوش‌تر شدن مدل، افزایش سایز (تعداد پارامترها) خیلی مهم‌تر از افزایش داده‌ست.»
نتیجه؟ مدل‌هایی مثل GPT-3 و Gopher ساخته شدن. مثلاً GPT-3 با ۱۷۵ میلیارد پارامتر، فقط روی ۳۰۰ میلیارد توکن آموزش دید (کمتر از ۲ توکن برای هر پارامتر!).
این مدل‌ها مغزهای غول‌پیکری داشتن، اما به‌شدت Undertrained (کم‌آموزش) بودن. مثل این می‌مونه که ۱۰۰ سال عمر کنی، ولی فقط ۱۰ کتاب بخونی!
تو سال ۲۰۲۲، تیم DeepMind با مدل Chinchilla وارد بازی شد و معادلات رو بهم ریخت. 🧮
🤖 ایده این بود:
برای یه بودجه محاسباتی (Compute) مشخص، بهترین عملکرد وقتی به دست میاد که اندازه مدل و حجم داده‌ها پا به پای هم رشد کنن.⚙️ اما آیا امروز هم همه به این قانون پایبندن؟
قانون سرانگشتی چینچیلا:
به ازای هر ۱ پارامتر، مدل باید حدود ۲۰ توکن داده ببینه.
تیم DeepMind این رو تو عمل ثابت کرد: یه مدل ۷۰ میلیارد پارامتری ساخت و اون رو روی ۱.۴ تریلیون توکن (دقیقاً نسبت ۲۰:۱) آموزش داد. نتیجه؟ با همون بودجه محاسباتی، مدل ۲۸۰ میلیارد پارامتری Gopher رو تو بنچمارک‌ها شکست داد!
اصلاً! داستان تو سال‌های ۲۰۲۴ تا ۲۰۲۶ تغییر کرده.💡 جمع‌بندی
قانون چینچیلا فقط هزینه آموزش (Training) رو بهینه می‌کنه. تو دنیای واقعی، هزینه استنتاج (Inference) یا همون جواب دادن مدل به میلیون‌ها کاربر خیلی مهم‌تره.
برای همین شرکت‌هایی مثل Meta (با LLaMA 3 8B) عمداً از قانون ۲۰ توکن عبور می‌کنن و مدل رو روی ۱۵ تریلیون توکن آموزش می‌دن (حدود ۱۹۰۰ توکن برای هر پارامتر!).
چرا؟ چون یه مدل کوچیک که به‌شدت Overtrain شده، موقع اجرا رم کمتری می‌خواد، سریع‌تره و هزینه API رو به‌شدت کاهش می‌ده.
علاوه بر این، ما در حال رسیدن به «دیوار داده» (Data Wall) هستیم. اینترنت دیگه متن باکیفیت کافی برای رسیدن به نسبت ۲۰:۱ تو مدل‌های تریلیون پارامتری نداره و این موضوع صنعت رو به سمت Synthetic Data هل داده.
چینچیلا به ما یاد داد که تو هوش مصنوعی، «تعادل» بین ظرفیت مدل و حجم دانشی که بهش می‌دیم از تعداد پارامتر و سایز مهم‌تره. هرچند امروز برای فرار از هزینه‌های سرور، گاهی عمداً این قانون رو می‌شکنیم!📚 مقاله اصلی چینچیلا
🔗 دوره جامع متخصص علم داده و یادگیری ماشین در وبسایت دیتایاد
🔗 دوره آموزش جامع LLM و NLP در وبسایت دیتایاد
📌مرجع تخصصی هوش مصنوعی و علم داده
❇️ سایت | بله | تلگرام | اینستاگرام