🧠 آیا می‌شود شبکه‌های بسیار عمیق را بدون Backpropagation آموزش داد؟

💡 یک مقاله جالب با عنوان Augmented Lagrangian Predictive Coding (PC-ALM) به سراغ همین سؤال رفته است.

✅ روش PC-ALM؛ یک رویکرد Local Learning به‌عنوان جایگزینی برای Backpropagation

در Predictive Coding خبری از backward pass سراسری Backpropagation نیست؛ هر لایه با استفاده از prediction errorهای محلی و ارتباط با لایه‌های مجاور به‌روزرسانی می‌شود.

اما همین local بودن، در شبکه‌های عمیق یک چالش ایجاد می‌کند: سیگنال credit که از خروجی وارد می‌شود، هنگام عبور از لایه‌های متوالی می‌تواند به‌تدریج ضعیف شود و در نتیجه، آموزش شبکه‌های عمیق و باریک برای Predictive Coding معمولی دشوارتر می‌شود.

💡 ایده‌ی PC-ALM این است که با اضافه کردن Lagrange Multipliers (Dual Neurons) به این دینامیک محلی، این مشکل را برطرف کند. در نتیجه، هر لایه با یک سازوکار محلی و شبیه به PI feedback controller در فرآیند یادگیری مشارکت می‌کند.

نکته جالب اینکه نویسندگان گزارش کرده‌اند این روش می‌تواند شبکه‌هایی تا ۱۰۰۰ لایه را بدون Backpropagation آموزش دهد؛ به‌خصوص در شبکه‌های عمیق و باریک که Predictive Coding معمولی با مشکل مواجه می‌شود.

و اتفاقاً این نکته، هسته‌ی جذاب مقاله است:

روش PC-ALM نمی‌خواهد Backpropagation را بهتر کند؛ بلکه می‌خواهد نشان دهد آیا می‌توان credit assignment شبیه BP را با محاسبات کاملاً محلی انجام داد یا نه.

در حالت خطی، نویسندگان نشان می‌دهند که متغیرهای دوگان می‌توانند در حالت همگرایی، credit signalهای Backpropagation را بازسازی کنند.

💻 نکته جذاب دیگر اینکه کد رسمی مقاله هم روی GitHub منتشر شده و می‌توان روش را از نزدیک بررسی و اجرا کرد.

📄 مقاله:
https://arxiv.org/abs/2605.31022

💻 کد:
https://github.com/SakanaAI/pc-alm

Piko 🐾
🏢 آکادمی آنلاین مهندسی پزشکی و هوش مصنوعی
@onlinebme

#Backpropagation
#Neuroscience
#DeepLearning