5 تکنیک برای بهینه‌سازی LLMها:
1) LoRA
- دو ماتریس کم‌رتبه، A و B، را به همراه ماتریس‌های وزن W که شامل پارامترهای قابل آموزش هستند، بروزرسانی کنید.
2) LoRA-FA
- در حالی که LoRA به طور قابل توجهی تعداد کل پارامترهای قابل آموزش را کاهش می‌دهد، هنوز هم نیاز به حافظه فعال بالا برای به‌روزرسانی وزن‌های کم‌رتبه دارد.
- LoRA-FA (FA مخفف Frozen-A) ماتریس A را قفل می‌کند و فقط ماتریس B را به‌روزرسانی می‌کند.

3) VeRA
- در LoRA، هر لایه یک جفت متفاوت از ماتریس‌های کم‌رتبه A و B دارد و هر دو ماتریس آموزش داده می‌شوند.
- اما در VeRA، ماتریس‌های A و B قفل شده، تصادفی و در تمام لایه‌های مدل مشترک هستند.
4) Delta-LoRA
- در اینجا، علاوه بر آموزش ماتریس‌های کم‌رتبه، ماتریس W نیز تنظیم می‌شود اما نه به روش سنتی.
- بلکه تفاوت (یا دلتا) بین حاصل‌ضرب ماتریس‌های کم‌رتبه A و B در دو مرحله آموزشی متوالی به W اضافه می‌شود.
5) LoRA+
- در LoRA، هر دو ماتریس A و B با همان نرخ یادگیری به‌روزرسانی می‌شوند.
- نویسندگان دریافتند که تنظیم نرخ یادگیری بالاتر برای ماتریس B منجر به همگرایی بهینه‌تر می‌شود.