‏تکنیک‌های بهینه‌سازی LLM: درک تفاوت‌های PEFT

‏بسیاری از متخصصان از روش‌های Fine-tuning استفاده می‌کنند، اما تفاوت دقیق میان متدهایی مثل LoRA یا QLoRA اغلب نادیده گرفته می‌شود. درک این تمایزات کلیدی است، زیرا هر روش بخش متفاوتی از مدل را هدف قرار می‌دهد. در اینجا مهم‌ترین تکنیک‌ها را بررسی می‌کنیم:

‏• LoRA: با فریز کردن وزن‌های اصلی، آپدیت‌ها را در دو ماتریس کوچک‌تر A و B جای می‌دهد تا پارامترهای آموزش‌دیدنی به شدت کاهش یابد.

‏• LoRA-FA: با فریز کردن ماتریس A، علاوه بر پارامترها، حافظه فعال (Activation Memory) مصرفی را نیز کاهش می‌دهد.

‏• QLoRA: مدل پایه را به صورت 4-bit کوانتایز می‌کند تا امکان اجرای مدل‌های عظیم روی سخت‌افزارهای محدود فراهم شود.

‏• VeRA: با استفاده از ماتریس‌های تصادفی فریز شده و یادگیری بردارهای مقیاس‌بندی کوچک، تعداد پارامترهای آموزش‌دیدنی را باز هم کاهش می‌دهد.

‏• LoRA+: با اختصاص نرخ یادگیری متفاوت به ماتریس‌های A و B، بهینه‌سازی مدل را کارآمدتر می‌کند.

بررسی فنی روش‌های PEFT: درک تفاوت‌های ساختاری در فاین‌تیونینگ مدل‌های زبانی