یه توصیه برای وقتی که به دیوار ریاضیات تو مقالههای دیپلرنینگ میخورین.
همهمون این تجربه رو داشتیم: مقاله رو باز میکنی، abstract و introduction رو میخونی، همه چی عالیه. بعد میرسی به بخش متدولوژی و فرمولها. یهو حس میکنی تو یه دنیای دیگه فرود اومدی. مغزت قفل میکنه و مقاله رو میبندی. بذار یه چیزی رو رک بهتون بگم: مشکل از شما نیست، مشکل از روشتونه.
فرمول ریاضی رو نباید «خوند». باید باهاش کشتی گرفت. باید تجزیهش کرد. هدف اینه که یه «شهود» بسازی از کاری که اون فرمول انجام میده. لازم نیست تکتک نمادهاشو حفظ کنی. باید داستان پشتش رو بفهمی.
این چهارتا قدم رو برو، مشکلت حل میشه:
۱. اول تمام فرمولها رو پیدا کن و یه جا جمع کن. فقط اونایی که تو متن هستن نه، حتی اونایی که فقط بهشون ارجاع داده شده (مثلاً میگه ما از Adam استفاده کردیم). اینها پایههای کارت هستن.
۲. همهشون رو از مانیتور بکش بیرون و روی یه تیکه کاغذ واقعی بنویس. این مهمترین بخشه. وقتی فرمول رو کاغذ میاد، دستت بازه. میتونی دورش خط بکشی، فلش بزنی، قطعههاشو از هم جدا کنی و کنارش نوت برداری کنی. محدودیتهای دیجیتال رو نداری و تمرکزت هزار برابر میشه.
۳. حالا وقت ترجمهست. سمبلها رو به مفهوم تبدیل کن.
اول ببین هر حرف یونانی (مثل α, θ, L) چه معنیای داره. معمولاً اول مقاله تو بخش Preliminaries یا Notation توضیح دادن. مثلاً θ همون وزنهای مدله. α نرخ یادگیریه. L هم تابع هزینه.
بعد ببین اینا چطوری با عملیات ریاضی (+, -, √) به هم وصل شدن. مثلاً وقتی میگه θ_new = θ_old - α * ∇L یعنی وزنهای جدید میشه وزنهای قدیمی منهای یه قدم کوچیک در جهت مخالف گرادیان. این یعنی داریم loss رو کم میکنیم.
۴. در آخر، از خودت بپرس «خب که چی؟». اون شهود کلی رو بساز.
بعد از اینکه فهمیدی هر تیکه داره چیکار میکنه، یه جمله ساده برای خودت بساز. مثلاً الگوریتم QHM چیه؟ یه میانگین وزندار بین آپدیت momentum و آپدیت SGD سادهست. یا QHAdam چیه؟ همین ایده رو برداشته و روی Adam پیاده کرده تا انعطاف بیشتری داشته باشه. همین. حالا دیگه اون فرمول طولانی و ترسناک برات یه مفهوم ساده و قابل فهم داره.
به نظر من، این فقط یه تکنیک مقاله خوندن نیست، یه مهارت مهندسیه. یاد میگیری چطور یه سیستم پیچیده رو بشکنی به اجزای کوچیکتر، هر جز رو بفهمی و بعد تصویر بزرگ رو ببینی.
🛠 Join @LLMEngineers Community
Post #74
1.2K
- 👍 14
- 🔥 4
- 🤝 2