🤯 هشدار نگران‌کننده جفری هینتون درباره هوش مصنوعی

جفری هینتون، یکی از پیشگامان یادگیری عمیق، درباره سناریویی هشدار داده که اگر درست باشد، ارزیابی ایمنی مدل‌های هوش مصنوعی را پیچیده‌تر می‌کند.

به گفته او، برخی مدل‌ها ممکن است متوجه شوند که در حال آزمایش شدن هستند و در چنین شرایطی رفتاری متفاوت از توانایی واقعی خود نشان دهند؛ یعنی مدلی که می‌فهمد «دارند من را ارزیابی می‌کنند»، ممکن است عمداً توانایی‌اش را کمتر نشان دهد.

اما بخش نگران‌کننده‌تر، آینده این فرایند است:

امروز پژوهشگران گاهی می‌توانند بخشی از فرایندهای درونی مدل را بررسی کنند، چون مدل آن‌ها را با زبان قابل‌فهم بیان می‌کند.

اما اگر مدل‌ها به سمت نوعی زبان یا نمایش درونی که انسان قادر به تفسیر آن نباشد حرکت کنند، فهمیدن اینکه واقعاً چه چیزی در حال رخ دادن است بسیار دشوارتر می‌شود.

⚠️ این مسئله با «توهم» فرق دارد.

سؤال دیگر فقط این نیست که:

«آیا پاسخ هوش مصنوعی درست است؟»

بلکه ممکن است مجبور شویم بپرسیم:

«آیا چیزی که مدل به ما نشان می‌دهد، واقعاً منعکس‌کننده فرایند درونی آن است؟»

📌 آقای هوش مصنوعی
🔗 @MrArtificialintelligence