شاید سوال بزرگی که تز دکتری من رو تعریف میکنه و شاید جذابش میکنه در مورد تعمیم پذیری همین overparameterized system هاست.
این مسئله از منظرهای مختلفی جذابیت داره که نیما به خوبی در پست هاش از منظر علوم اعصاب محاسباتی بهش پرداخت ولی از دیدگاه آماری جالبیش اینه که ما طبق قضیه ها و نظریاتی که داشتیم چنین سامانه هایی به شدت باید نامطلوب باشن در حالیکه در عمل خیلی خوب کار میکنن.
حالا ما به بهانه تز دکتری من داریم سعی میکنیم قضیه هایی رو استفاده کنیم که بتونه چنین رفتاری رو توجیه و یا توضیح بده.

در واقع نظریات کلاسیک پیش بینی میکردن که هر چقدر مدل ها پیچیده تر بشوند یا در واقع به یک معنا تعداد پارامترهاشون بیشتر بشه و توانایی یادگیری داده های بیشتری رو داشته باشن، مدل های خوبی نیستن چون احتمالا میان و داده ها رو حفظ میکنن، به جای اینکه الگوی داده ها رو یاد بگیرن. ولی در عمل کاملا برعکس این اتفاق افتاد و همین طور که داریم میبینیم و البته همان طوری که دیدیم مدل ها هی deep و deep تر شدن و نه تنها کیفیت و خروجی افت نکرد بلکه اتفاقا بهتر هم شد.
یعنی نمیدونم شما زمان شروع GPT-3 رو یادتون هست یا نه ولی من یادمه قشنگ که با مهبد داشتیم در موردش صحبت میکردم و کیفیتش واقعا خنده دار بود ولی چیز جالبی بود. میتونست برای چند دیقه ای سرگرمت کنه.

حالا اما این هیولایی که داره زندگی همه ما رو زیر و زیر میکنه با تقریب خیلی خوب میشی گفت که صرفا ورژن خیلی خیلی عمیق تر شده GPT-3 هستش( با صرف نظر از تلاش های مهندسی و بهینه سازی های محاسباتی و زیاد شدن داده ها) حداقل تا شروع ChatGPT5.

درست همون زمان ها بودش که یه کلمه به شدت محبوب شد و اون هم Scaling laws بود. تحقیقاتی اومد بیرون که نشون میداد برای بهبود دقت مدل ها کافیه که صرفا سایز شبکه، تعداد داده ها و در نتیجه میزان محاسبات رو ببرن بالا و خوبی این قانون این بود که به ما میتونست یه پیش بینی خیلی دقیقی بده که چند برابر کردن هر کدوم از پارامترهای قبلی چقد میتونه خطای ما رو بهتر بکنه. این یه بیان ساده ولی نسبتا دقیق از این قوانینه ولی دوست دارم که بعدا مفصل تر در موردشون بنویسم.

حالا چند ماه پیش آقای ILYA Sutskever مدعی شده که دوران و زمانه Scaling law ها گذشته و دیگه دوباره باید برگردیم به دوران پژوهش و سختی بکشیم و اینا تا بتونیم پیشرفت رو بینیم. اینجا منظور از Scale کردن صرفا بخش پیش-آموزش یا pre-training مدلهاست.
اگه عمری بعدا باید راجع به این مراحل مختلف یه LLM هم توضیح بدم. یه سلسله متن هایی رو آماده کرده بودم که ولش کردم متاسفانه.

بنظرم خودش خیلی بامزه تعریف میکنه و حتما دوست داشتید مصاحبه کامل یا حداقل این short رو ببینید ازش:
https://youtube.com/shorts/pLHWn5SQvLM?si=h4pGGPjAXLRtJd5k

و خب میشه گفت هم که درست گفتش ILYA هر چند که شاید خیلی دقیق نبود.
بله درسته برای مدتی به اون معنا توجه از پیش-پردازش مدل ها برداشته شد و صرف چیزهای دیگه مثل test-time reasoning و post-training شد ولی در اصن اینها سوار بر اون scale ها شدن نه اینکه یه خط کاملا جدایی باز بشه.
یعنی شما باید یه مدل تا حد کافی بزرگی داشته باشی که این روش ها رو روش پیاده کنی و طبعا اگر میتونستی پیش پردازشت رو بهتر کنی پس-پردازشت هم بهتر میشد.
یعنی عملا وارد یه دنیای hybrid ای شدیم که دیگه پیش-پردازش همه ی ماجرا نیست ولی همچنان بخش خیلی مهمیه. و این روی هم سوار شدن باعث این شد
که در چیزی که ما در عمل دیدیم گپ رو اصلا حس نکردیم. از اون روزی که مدل ها توانایی reason کردن خیلی ساده رو نداشتن تا الان که دارن مسائل open در ریاضیات رو حل میکنند آنچنان سریع گذشت که برای ما یه حس پیوستگی کاملا اتفاق افتاد.
این وسط ها البته یه تلاش هایی هم سر و کله اش پیدا شد که تلاش کردن که روش کاملا متفاوتی رو برای یادگیری مدل های زبانی در پیش بگیرن که اونم در ادامه ایشالا در موردش حرف بزنیم.


ولی شاید بگید که این حرفا که قدیمی شده و مال ۸ ماه پیشه :))
و در جواب میگم که بله حق با شماست، من یکم عقب افتادم واقعا از ماجرا ولی دارم سعی میکنم که برسونم خودم رو و ادامه بدم.
من یه سری پست قدیمی ۶ قسمتی روی همین کانال دارم در مورد مدلسازی زبانی که متاسفانه نیمه کاره رها شد.
لینکهاشون در پیام پین شده کانال هستش میتونید نگاهی بهش بندازید و اگه دوست داشتید نظرتونو بهم بگید حتما.

@SingularThinker