اگر علاقه‌مند شدید می‌تونید پیپر reformer رو هم بخونید و از پیچیدگی درونش (مثل استفاده از hash برای محاسبه سریع‌تر و کم حافظه‌تر attention) لذت ببرید!
https://arxiv.org/abs/2001.04451
@nlp_stuff
Post #12
736
NLP stuff بالاخره huggingface 🤗 مدل reformer رو هم به مدل‌های تحت پشتیبانی‌اش اضافه کرد! به طور مختصر و مفید reformer یک نوع transformer ای هستش که توش یک سری تکنیک زدن که شما می‌تونید حتی رشته‌هایی به طول ۱۰۰ هزار توکن رو هم بدون ترس از کم آوردن حافظه پردازش کنید (مطلبی…