✅با افزایش مدل‌های زبانی بزرگ (LLMs)، فاین‌تیونینگ برای وظایف خاص بیش از پیش اهمیت یافته است :
روش LoRA (Low-Rank Adaptation) :با افزودن ماتریس‌های تطبیق کم‌رتبه، تعداد پارامترهای قابل آموزش را کاهش می‌دهد و فاین‌تیونینگ را سریع‌تر و بهینه‌تر می‌کند.
روش LoRA-FA : (LoRA with Feature Augmentation) این روش LoRA را با تقویت ویژگی‌های خارجی ترکیب می‌کند و ویژگی‌های خاص وظیفه را به مدل اضافه می‌کند تا عملکرد را با حداقل بار اضافی افزایش دهد.
روش Vera: (Virtual Embedding Regularization Adaptation) Vera به تنظیم نمایه‌های مدل در حین فاین‌تیونینگ کمک می‌کند و از بیش‌برازش جلوگیری کرده و تعمیم‌پذیری را در حوزه‌های مختلف بهبود می‌بخشد.
روش Delta LoRA :این روش به‌روزرسانی فقط لایه‌های مهم‌تر را هدف قرار می‌دهد و هزینه‌های محاسباتی را کاهش می‌دهد در حالی که اثربخشی فاین‌تیونینگ حفظ می‌شود.
روش : Prefix Tuning به‌جای تغییر وزن‌های مدل، این تکنیک توکن‌های پیشوند خاص وظیفه را یاد می‌گیرد که خروجی مدل را هدایت می‌کند و امکان سازگاری مؤثر با وظایف جدید را فراهم می‌آورد.

@BIMining