اگر هر زمانی در زندگی به PhD فکر کردید، این بلاگ‌پست رو بخونید، اگر در حال PhD خوندن هستید که خیلی محتوای fitتری هم هست. این هفته برای چندمین بار این متن رو خوندم و دوباره بخش‌هایی از متن سوالات جدیدی که برام ایجاد شده بود رو پاسخ داد. زندگیم کلا این‌طوری شده که هر چند وقت یک بار یک بخش جدیدی از متن برام sense می‌کنه و بهتر می‌فهممش.
این پستِ قدیمی (۲۰۱۶) یک retrospective هست که Karpathy (کوفاندر OpenAI) بعد از تموم شدنِ PhDش نوشته و سعی کرده tips/tricksهایی که تو این مسیر یاد گرفته رو جمع کنه. این‌جا چند نکته‌ی جالبش رو می‌نویسم.
💬 اصلا چرا PhD؟
کارپثی می‌گه PhD یعنی Freedom (آزادی تو انتخابِ موضوع)، Ownership (کارت به اسمِ خودته، نه یک cog تو چرخِ یک شرکت بزرگ)، و فرصتی برای Expertise؛ تنها بازه‌ای از زندگیت که می‌تونی واقعا تو یک موضوع عمیق بشی و expertِ شناخته‌شده‌ی دنیا بشی. ولی disclaimer مهمی هم می‌ذاره: قبلِ deadlineها به‌شدت زجرآوره، گاهی باید ۳ ماه کارت رو دور بریزی و سلامتِ روانت رو هم حفظ کنی، و شنبه‌ی آفتابی تنها تو لب نشستی و عکسِ سفرِ دوستات با حقوقِ ۵-۱۰ برابری رو اسکرول می‌کنی.
🗂 ورود و انتخاب
نکته‌ی اول و آخرش برای ادمیشن PhD گرفتن از دانشگاه‌های برتر: references, references, references. نمره اون‌قدرها مهم نیست؛ به‌جاش از همون اول برو سراغِ research. واسه انتخابِ دانشگاه هم معیارها اینا باشه منطقیه: رنک top باشه (به‌خاطرِ feedback loop و آدم‌های اطرافت)، چند تا adviserِ بالقوه داشته باشه (نه فقط یکی، واسه روزِ مبادا)، و محیطش هم خوب باشه چون ۵ سال اون‌جا زندگی می‌کنی.
💬 رابطه با Adviser
این رابطه یک symbiosis هست، گاهی تشبیهش می‌کنن به ازدواج. باید incentive structureشون رو بفهمی (tenure، funding، سیاستِ دانشکده). فرقِ pre-tenure و post-tenure مهمه: استادِ جوون hands-on هست و باهات math می‌کنه و کدت رو می‌خونه؛ استادِ ارشد سطحِ بالاتری حرف می‌زنه و دیدنش سخت‌تره. برای شناختشون با دانشجوهاش حرف بزن، اون هم تو یک مهمونی نه جلسه‌ی رسمی.
🔺 انتخابِ موضوع (همون outer loop)
می‌گه PhD یعنی کار رو meta level؛ مشکل، حل کردنِ مسئله نیست (اون inner loop هست)، بلکه پیدا کردنِ این‌که چه مسئله‌ای ارزشِ حل کردن داره. کم‌کم یک حسِ taste پیدا می‌کنی. دو تا نکته‌ی طلایی: یکی قاعده‌ی sublinear scaling: یک مسئله‌ی ۱۰ برابر مهم‌تر، فقط ۲-۳ برابر سخت‌تره، چون مجبورت می‌کنه از first principles فکر کنی. پس ambitious باش. ولی به قولِ Hamming، ambitious بودن کافی نیست، باید «attack» داشته باشی. مسئله‌ی مهم بدونِ راهِ حمله، صرفا یک رویاست. از incremental work («cockroach papers») هم فرار کن؛ ممکنه accept بشن ولی impact ندارن. منظور همین مقالاتی هست که مثلا ۲ درصد دقت یک مدل در یک تسک خاص رو بالا می‌برید و خب اکسپت‌شدن‌شون هم راحت‌تره چون reviewer ایراد محسوسی نمی‌تونه بگیره.
📑 مقاله، کد و talk
نوشتنِ مقاله: gestalt مقاله رو درست کن، یک single core contribution داشته باش، از laundry list فرار کن. برای یاد گرفتن، مقاله‌های بد رو review کن تا یک classifier ذهنی بسازی.
کد: کدت رو release کن؛ از ترسِ شرمساریِ عمومی، عادت‌های مهندسیِ بهتری پیدا می‌کنی و citationت هم بیشتر می‌شه.
و نهایتا Talk: هدفِ ارائه آموزشِ محتوای مقاله نیست؛ هدف اینه که مخاطب رو نسبت به مسئله excite کنی، چیزی یادش بدی و سرگرمش کنی. عکس زیاد، متنِ کم.
👥 جمع‌بندی
نکته‌ی پایانیش این بود که PhD رو صرفا یک دنباله‌ی paper نبین؛ عضوی از یک community هستی و کارت اینه که فیلد رو جلو ببری. هیچ shortcut و گیم‌کردنِ سیستمی هم تو بلندمدت جواب نمی‌ده، چون academia کوچیک و درهم‌تنیده‌ست. کارِ خوب بکن، درست communicate کن، آدم‌ها متوجه می‌شن.
🔗 https://karpathy.github.io/2016/09/07/phd/
✈️ @Mirage_Notes