این پست جدید از هاگینگ فیس را بنگرید!
حدود یکسال پیش بچه‌های هاگینگ‌فیس طی این پست در مدیوم پیشنهاد کردند که برای شبکه های seq2seq بیایم و از انکودرهای از پیش آموزش دیده شده نظیر برت به عنوان نقطه شروع شبکه‌های انکودر و دیکودر استفاده کنیم ( مثالش اینه که فکر کنید یک تسک تبدیل متن انگلیسی به sql داشته باشیم و بیایم روی متن انگلیسی و متن‌های sql دو تا شبکه برت آموزش بدیم و بعد این برت ها را به عنوان انکودر و دیکودر شبکه دنباله به دنباله بکاریم و حالا روش شروع به آموزش کنیم و فاین تیون کنیم)
حال پس از گذشت یک سال، هاگینگ فیس امکان استفاده از این قابلیت را تا حد خوبی پیاده‌سازی کرده و در این پست از بلاگش اون رو به خوبی تشریح کرده. الان دیگه به زیبایی میتونید بیاید از مدل‌های جالبی مثل Bert2Bert یا Bert2GPT برای تسک‌های دنباله‌ به دنباله نظیر خلاصه‌سازی و ترجمه‌ماشینی و دیالوگ و هر چی تسک دنباله به دنباله عجیبی که به ذهنتون می‌تونه برسه، استفاده کنید.
مرسی آقای هاگینگ فیس 🤗

https://huggingface.co/blog/warm-starting-encoder-decoder


#read
#blog

@nlp_stuff