مقاله هینتون با معرفی تابع فعالیت relu در سال 2010 یکی از دلایل اصلی تحول فیلد و ارائه اولین مدل عمیق با کارایی بسیار بالاتر مدلهای کلاسیک در سال 2012 شد.
به نظرتون تابع اشباع شونده یا saturating منظورش چیه و چرا بده؟!
فکر کنید و در کلاس فردا مطرح کنید...
Post #58
304
Tensorflow(@CVision) #Relu [109] Nair, V. and G. E. Hinton. 2010. “Rectified Linear Units Improve Restricted Boltzmann Machines,” Proc. 27th Int. Conf. Mach. Learn., no. 3, pp. 807–814.