آموزش مدل های هوش مصنوعی اغلب شامل پیمایش فضاهای پارامتری با ابعاد بسیار بالا برای یافتن هایپر پارامترهای بهینه، معماری‌های مناسب شبکه عصبی و برنامه‌ های آموزش مناسبه.

https://youtu.be/NrO20Jb-hy0?feature=shared

توانایی AlphaEvolve در اکستریم‌ سازی (یافتن نقاط بیشینه یا کمینه) توابع در چنین فضاهایی می‌تونه برای خودکارسازی و بهبود این وظایف بهینه‌سازی بکار گرفته شه، که در نتیجه به همگرایی سریع‌ تر و مدل‌هایی با عملکرد بهتر منجر خواهد شد.

ترنس تائو، ریاضی‌دان برجسته و برنده مدال فیلدز، اخیرا اعلام کرده که با تیم DeepMind در حال همکاری بر روی توسعه ابزاری نوین برای بهینه‌ سازی توابع در فضاهای پارامتری با ابعاد بالاست.

این ابزار قادره توابعی مانند F(x) رو که در فضای پارامترهای با ابعاد بالا تعریف شدن رو بیشینه یا کمینه کنه، حتی زمانی که ساختارهای پنهان و پیچیده‌ای دارن که الگوریتم‌های سنتی قادر به درک اونها نیستن.

تائو در پاسخ به این پرسش که آیا این ابزار می‌تونه جایگزینی برای بهینه‌سازهای سنتی مانند گرادیان نزولی (SGD) در آموزش شبکه‌های عصبی بزرگ باشه، اظهار داره که این امر کاملا محتمله، به‌ویژه در وظایف با مقیاس بزرگ که نظارت انسانی کافی برای تنظیم دستی هایپر پارامترها وجود نداره و پیشنهاد میده که این ابزار می‌توانه به‌عنوان یک لایه meta-optimizer بر روی ابزارهای موجود عمل کنه، به‌طوری که تصمیم بگیره کدام ترکیب از این ابزارها استفاده شه و چه مقادیری از هایپر پارامترها به اونها اختصاص داده شه.

https://mathstodon.xyz/@tao/114508029896631083