با کمی اغراق، می‌دونستید حتی خودِ شرکت‌های بزرگ هوش مصنوعی هم دقیقاً نمی‌دونن اون پشت، توی دلِ مدل‌هایی که ساختن چی می‌گذره؟

همون‌طور که دوربین گوشی وقتی از صورت شما عکس می‌گیره، نمی‌دونه رنگ چشمتون توی کدوم بایت از فایلِ عکس ذخیره شده، مدل‌های هوش مصنوعی هم همین‌قدر ساختارِ گنگ و پیچیده‌ای دارن. واقعاً نمی‌شه انگشت گذاشت روی یک بخش و گفت این قسمت مسئول شوخ‌طبعیه، این یکی مسئول استدلال ریاضی، و اون یکی مسئول درک زبان فارسی!

دقیقاً به خاطر همین ابهامه که یه شاخه علمیِ مجزا به اسم Interpretability (تفسیرپذیری) شکل گرفته؛ حوزه‌ای که تمام تمرکزش اینه بفهمه یه مدل هوش مصنوعی چرا و چطوری به یک تصمیم یا پیش‌بینی خاص می‌رسه.

@Linuxor