‏🧠 روشی الهام‌گرفته از مغز برای آموزش شبکه‌های عصبی

‏الگوریتم رایج Backpropagation علی‌رغم کارایی، از نظر بیولوژیکی در مغز انسان وجود ندارد؛ چرا که نورون‌ها نمی‌توانند منتظر بازگشت سیگنال خطا از لایه‌های انتهایی بمانند. آزمایشگاه Sakana AI در پژوهش جدید خود به سراغ رویکردی به نام Predictive Coding (PC) رفته است که در آن هر لایه تنها با همسایگان خود تعامل دارد.

‏مشکل اصلی روش‌های سنتی PC در شبکه‌های عمیق، محو شدن سیگنال بود. محققان با استفاده از رویکرد PC-ALM و به‌کارگیری ضرایب لاگرانژ، توانستند این شکاف را با Backprop پر کنند.

‏مهم‌ترین یافته‌های این تحقیق:
‏* پایداری در عمق: برخلاف PC معمولی که در شبکه‌های عمیق کارایی خود را از دست می‌دهد، PC-ALM توانسته است شبکه‌هایی تا ۱۰۰۰ لایه را با دقتی نزدیک به Backprop آموزش دهد.
‏* شباهت ریاضی: ثابت شده است که در نقطه تعادل، ضرایب لاگرانژ دقیقاً با گرادیان‌های Backprop همگرا می‌شوند.
‏* عملکرد: در بنچمارک‌هایی نظیر MNIST و CIFAR-10، این روش شکاف عملکردی بین آموزش محلی و جهانی را به‌شدت کاهش داده است.

معرفی PC-ALM: روش نوین آموزش شبکه‌های عصبی با الهام از مغز