🧠 کالبد شکافی هوش‌های مصنوعی دوقلو،
تجارب گذشته در بخش نامرئی اتصالات ذخیره می‌شود

بررسی دوقلوها که معمولا در ژنتیک مطرح می‌شود، اینبار سر از دنیای هوش مصنوعی (RNNها) درآورده است.

مطالعه جذابی که همین دو ماه پیش روی آرکایو قرار گرفت (لینک) نشان می‌دهد عمیق شدن روی جزییات هزاران اتصال عصبی می‌تواند کاری بیهوده باشد.

💥 به جای آن، خاصیت‌های هندسی شبکه که می‌توان آن‌ها را با تنها ده متغیر ناقابل توصیف کرد، عملکرد و یادگیری شبکه را هدایت می‌کنند.

این متغیرهای هندسی، در بیان ساده، میزان شباهت یا هم‌پوشانی قسمت‌های مختلف شبکه عصبی را نشان می‌دهند. برای همین به آن‌ها هم‌پوشانی گفته می‌شود--- اندازه‌گیری هم‌پوشانی‌ها آسونه، نگران نباشید.

اما ریاضیات فراتر هم می‌رود و نکته جالبی را نشان می‌دهد:

صرفا ۴ هم‌پوشانی مسئول رفتار سیستم، پاسخ آن به ورودی و پایین آوردن خطا حین یادگیری هستند. به این‌ها هم‌پوشانی‌های مرئی گفته می‌شود.
در عوض، ۶ هم‌پوشانی نامرئی داریم که اثری بر خروجی شبکه نمی‌گذارند، اما مثل یک دفترچه‌ی یادداشت خاطرات گذشته‌ی شبکه را در خود نگه می‌دارند.

برای آزمودن این یافته نظری، مولفین از شبکه‌های عصبی دوقلو استفاده کردند.

طبیعتا، این شبکه‌ها در ابتدا کامل یکسان هستند. مولفین هر شبکه را در مسیر متفاوتی با تجارب متفاوتی پیش بردند. مثلا به اولی یاد دادند مساله الف را حل کند و به دومی مساله ب. بعد، هردو را وادار کردند تا حل مساله مشترکی (مثلا ج) یاد بگیرند.

🔪🧠 وقتی توانمندی هردو شبکه‌ در حل مساله مشترک دقیقا یکسان شد، پژوهشگران این دو را کالبد شکافی کردند.

نتیجه نهایی:
۱. با نگاه کردن به هم‌پوشانی‌های مرئی تفاوت چشم‌گیری بین دوقلوها دیده نمی‌شد.
۲. اما با نگاه کردن به هم‌پوشانی‌های نامرئی، تفاوت تجارب گذشته آشکار می‌شد.


💣 یعنی گذشته‌ی شبکه عصبی، حتی وقتی در رفتار فعلی دیده نمی‌شود، ممکن است در بخش خاموش سیم‌کشی پنهان شده باشد.

@physics_daily | از نورون تا هوش