دو تا از روشهایی که برای کوچککردن مدلها استفاده میشن pruning و distillation هستند.
این پست یه خلاصهی خوب از مقالهی Poor Man's BERT: Smaller and Faster Transformer Models برای روشهای هرس کردن و مزیتهاش نوشته.
https://medium.com/dair-ai/poor-mans-bert-why-pruning-is-better-than-knowledge-distillation-%EF%B8%8F-f9652a1dc2bd
لینک مقالهی اصلی:
https://arxiv.org/abs/2004.03844
#read
#blog
@nlp_stuff
Post #60
824
