این پروژه یه ابزار برای ارزیابی و مقایسه عملکرد بهینه‌سازهای PyTorch روی توابع ریاضی دوبعدیه، همراه با نمایش تصویری رفتار اون‌ها.

ایده‌ی اصلیش اینه که به‌جای درگیر شدن با توضیحات صرفاً تئوریک، بتونیم به‌صورت بصری ببینیم الگوریتم‌های مختلف از روش‌های کلاسیکی مثل SGD و Adam گرفته تا بهینه‌سازهای جدیدتری مثل Lion و Sophia دقیقاً چطور روی سطوح و ناهمواری‌های مختلف حرکت می‌کنن و به جواب می‌رسن.

ابتدا با استفاده از Optuna بهترین تنظیمات هر بهینه‌ساز رو پیدا می‌کنه و بعد مسیر حرکت اون‌ها رو روی توابع آزمایشی رسم می‌کنه تا تفاوت رفتارهاشون قابل مشاهده باشه.

سورس کد پروژه:
https://github.com/AidinHamedi/Optimizer-Benchmark

@DevTwitter | <Fastnovel/>