BERT
یکی از قوی ترین مدل های NLP در تاریخ است ، اما همچنین در حال حاضر پرمصرف ترین مدل در صنعت است، به طوریکه هزینه سربار محاسباتی بسیار بیشتر از ImageNet است. محققان گوگل یک بهینه ساز جدید را پیشنهاد داده‌اند که با موفقیت زمان آموزش BERT را از 3 روز به 76 دقیقه کاهش داده است. این مقاله در ICLR 2020 پذیرفته شده است.
https://arxiv.org/abs/1904.00962
Post #9
52
Forwarded from Deep learning channel (Alister☄)