ایده GLOM هینتون

هینتون (یکی دیگه از خدایگان دیپ‌لرنینگ)، این پیرمرد خستگی‌ناپذیر، در ۷۳ سالگی تک و تنها به خط زده و این هفته یک پیپر ۴۴ای صفحه‌ای منتشر کرده. هینتون در این مقاله سیستم و روشی تخیلی به نام GLOM رو پیشنهاد کرده که صرفا یک ایده‌ست و در واقع در این پیپر هیچ پیاده‌سازی و آزمایشی انجام نشده.
این ایده GLOM به دنبال اینه که با ورودی گرفتن یک تصویر بتونه در خروجی یک بازنمایی سلسله مراتبی از اون تصویر ارائه بده؛ مثلا با ورودی گرفتن 🚙 بگه که یک ماشین میبینم که دو تا چرخ داره و یک بدنه، و بدنه اش هم دو تا پنجره داره. نکته اصلی اینجاست که شبکه‌های عصبی فعلی با ساختار ثابتشون قادر به پاسخ دادن به این سوال و پارس کردن یک درخت معنایی از اجزای حاضر توی تصویر نیستند.

ساختار پیشنهادی GLOM رو میشه به شما ترکیبی از ترنسفورمر و ساختارهای بازگشتی و فلسفه کپسول نتورک‌ها دید. نکته جالب رو هم میشه در یک جور تبادل پیام‌های بالا به پایین و پایین به بالا و البته مکانی در شبکه‌اش دونست. برای آموزش دادن این این شبکه هم، هینتون یک ایده مبتنی بر contrastive learning رو پیشنهاد می‌کنه ( همون طور که می‌بینید این پیپر ۴۴ صفحه‌ای ملقمه‌ای از همه چیزه!)

در حال حاضر با توجه به ساختار بازگشتی GLOM و قدرت سخت افزاری فعلی بعید به نظر می‌رسه که به زودی بتونیم ببینیمش، ولی اگر از مرحله ایده بودن بیرون بیاد و عملیاتی بشه، یک مدل عصبی تفسیرپذیر جالبی میشه. این ایده قادر به اعمال شدن بر روی حوزه‌های غیر تصویر مثل متن است و همانطور که هینتون در آخر مقاله اشاره می‌کنه، می‌تونه باعث وجود اومدن مدلی به نام GLOMBERT بشه.

پیشنهاد میشه اول این ویدئوی خوب در توضیح این مقاله رو ببینید و بعد اگر کنجکاوتر شدید به سراغ خودش برید:

https://youtu.be/cllFzkvrYmE

لینک مقاله:
https://arxiv.org/abs/2102.12627

پ.ن. کم کاری نکنید و لطفا کانال را به بقیه‌ی هوش‌مصنوعی‌دوستان معرفی کنید!

#read
#watch
#paper

@nlp_stuff