دورزدن فقر سخت‌افزاری برای فاین‌تیون کردن مدل‌های زبانی

اگر از نداشتن توان سخت افزاری برای فاین تیون کردن مدل‌های زبانی رنج می‌برید، شما رو به دیدن این تاک عالی دعوت می‌کنیم.
در بخش اول از این ویدئو که کلا سه تا ارائه داره، آقای Sylvain Gugger (یکی از اعضای هاگینگ فیس) در رابطه با تکنیک‌های لازم (مثل Gradient Checkpoint و FP16 و ..) برای دست و پنجه نرم کردن با مدل‌های بزرگ در حالتی که تنها داشته‌تون یک gpu عادیه صحبت می‌کنه. به علاوه اکثر این تکنیک‌ها توسط Trainer کتابخونه ترنسفورمرز هاگینگ فیس پیاده‌سازی شده و میتونید به راحتی ازشون استفاده کنید و برای سازندگانش دعای خیر کنید.

https://www.youtube.com/watch?v=RG-yV5zgqjQ

#link
#watch

@nlp_stuff