آن چه له‌کان در خشت خام می‌بیند

همانطور که می‌دونید هینتون، له‌کان و بنجیو سه خدای دیپ لرنینگ هستند. اگر قبلا یادتون باشه قبلا در این پست (t.me/nlp_stuff/137) و این پست (t.me/nlp_stuff/127) ایده‌ها و چشم‌اندازهای هینتون و بنجیو از مسیر آینده هوش مصنوعی به سمت AGI رو توضیح دادیم. حالا آقای له‌کان اومدند و مقاله ۵۰ صفحه‌ای رو منتشر کردند و در اون راجع به ایده‌های خودشون صحبت کردند. له‌کان در این مقاله ابتدا یک معماری شناختی کلی که از یک هوش خودکار در نظر داره رو نشون داده. این معماری کلی شامل قسمت‌هایی مثل Perception و Actor و Cost و World Model هستند که هر کدوم وظیفه مجزایی دارند. گام بعدی طراحی یک معماری برای هر شبکه‌های عصبی هر کدام از این قسمت‌هاست که له‌کان در اینجا معماری JEPA رو که می‌تونه به صورت سلسله مراتبی بازنمایی‌هایی رو از دنیا یاد بگیره رو طراحی و پیشنهاد کردند. در کنار این مسائل هم یک دور اومدند مسائلی مثل انواع یادگیری خودنظارتی و چرایی نیاز به تابع انرژی و همچنین ضعف‌های احتمالی انواع روش‌های خودنظارتی رو یک مرور خوب کردند و یک پارادایم یادگیری خودنظارتی non-contrastive رو برای آموزش دادن شبکه JEPA پیشنهاد دادند. مقاله رو هم در openreview گذاشتند که هر کی که خواست بیاد روش نقد کنه و نقدها هم دیده بشوند.
هم له‌کان و هم کیلچر (کیلخر) در مورد توضیح این ایده‌ها ویدئو‌هایی رو گذاشتند که در اگر حوصله و وقت خوندن مقاله رو نداشتید می‌تونید اونا رو مشاهده کنید.

لینک مقاله:
https://openreview.net/forum?id=BZ5a1r-kVsf
لینک ویدئو له‌کان:
https://www.youtube.com/watch?v=DokLw1tILlw
لینک ویدئو کیلچر:
https://www.youtube.com/watch?v=jSdHmImyUjk

#paper
#read

@nlp_stuff