دایره المعارف ترنسفورمر‌ها!

پس از تولد ترنسفورمر‌ها و برت‌ به ترتیب در ۲۰۱۷ و ۲۰۱۸، موجی از انواع و اقسام مدل‌های ترنسفورمری به راه افتاد که البته هر یک موفق به پرچم‌داری حوزه و مساله خاصی در پردازش زبان شدند. که البته همین پیشروی در حوزه پردازش زبان و مدل‌های زبانی منجر به بازشدن درها و مسائل و چالش‌ها و نیازمندی‌‌های تازه‌تری شد (مانند کم کردن حجم مدل‌های زبانی یا توانایی بازیابی اطلاعات از مجموعه اسناد و یا داشتن ترنسفورمرهایی با محدوده طول توکن‌های مورد پردازش بیشتر و ...). این چالش‌ها خود موجب پیدایش موج جدیدتری (‌و البته پرتعدادتری!) از ترنسفورمر‌ها در طی یکی دو سال اخیر شد که هر یک به دنبال حل یک نیازمندی خاص‌تری هستند.
حال در بساط امروز خود مقاله‌ای داریم که به صورت خلاصه و اما جامع به بررسی و توضیح مدل‌های ترنسفورمری زبانی مختلف پرداخته است. اگر می‌خواهید بدانید که فرق BART با T5 چیست، اگر میخواهید بدانید که از RAG چگونه در بازیابی اطلاعات استفاده می‌کنند، اگر که حس می‌کنید از موج جدید جامانده‌اید و نیاز به سینک شدن دوباره با این همه مدل‌های ترنسفورمری هستید، شما را به دیدن این پیپر عالی دعوت می‌کنیم.

لینک مقاله:
arxiv.org/abs/2104.10640

#read
#paper

@nlp_stuff