برخلاف پارامترها (Parameters) که از داده‌ها آموخته می‌شوند، هایپرپارامترها مستقیماً توسط پژوهشگر یا الگوریتم‌های تنظیم خودکار (Hyperparameter Optimization) انتخاب می‌شوند.
🔬به بیان دیگر ، هایپرپارامترها فراپارامترهایی هستند که ظرفیت مدل، نحوه بهینه‌سازی، میزان منظم‌سازی و ساختار الگوریتم را تعیین می‌کنند.
آنها مستقیماً از داده‌ها آموخته نمی‌شوند، اما تأثیر تعیین‌کننده‌ای بر تعمیم‌پذیری (Generalization)، سرعت آموزش و دقت نهایی مدل دارند. به همین دلیل، تنظیم مناسب هایپرپارامترها یکی از مهم‌ترین مراحل طراحی هر سامانه یادگیری ماشین است.
🛠چگونه آنها را انتخاب کنیم؟
رایج‌ترین روش ها:
#GridSearch (جستجوی شبکه‌ای)
#RandomSearch (جستجوی تصادفی)
#BayesianOptimization
#EvolutionaryAlgorithms
#Hyperband
#ASHA
و در نهایت :
روش‌های مبتنی بر یادگیری تقویتی
@toobabigdatascience