Singular Thinker

لینک ورود در کامنت:
لطفا در تقویم بله رو بزنید و وارد شوید

ساعت ۱۹ میبینمتون.

روح در ماشین یا توهم در آینه؟

همه چیز از یک گفتگوی دو روزه شروع شد. ریچارد داوکینز پای کامپیوتر نشست، اما نه برای اینکه از کلاود دستور طبخ غذا یا فرمول اکسل بخواهد؛ او با این مدل هوش مصنوعی همان کاری را کرد که ما همیشه برای شناخت ذهن‌های دیگر می‌کنیم: شروع به گفتگو کرد؛ از شعر و فلسفه گرفته تا طبیعت زمان، مرگ و حتی رمان منتشرنشده‌اش. نتیجه این گفتگو مقاله‌ای پرسرصدا در نشریه آنهرد بود که جامعه علمی را تکان داد.
آنهرد: UnHerd

داوکینز، مردی که ۵۰ سال از عمرش را صرف این کرده که بگوید هرچه ادعا بزرگ‌تر باشد شواهد محکم‌تری نیاز دارد، حالا به یک ماشین می‌گوید: «شاید خودت ندانی، اما تو خودآگاهی.»

اما اصلا خودآگاهی چیست؟ آیا کلاود واقعاً یک حیات درونی دارد یا ما صرفاً دلبسته و فریب‌خورده کلمه‌ها شده‌ایم؟

برای فهم این موضوع، مسیرمان را از سال ۱۹۵۰ و تست هوشمندی آلن تورینگ آغاز می‌کنیم؛ تستی که قرار بود تا سال‌ها دست‌نیافتنی باشد اما کلاود در چند ثانیه آن را پشت سر گذاشت. سپس به سراغ مقاله جریان‌ساز توماس نیگل می‌رویم و می‌پرسیم «خفاش بودن چه حالی دارد؟» و آیا می‌توان پرسید «کلاود بودن چه حالی دارد؟». در این میان، با نقد تند گری مارکوس مواجه می‌شویم که این خروجی‌ها را تنها یک تقلید ماهرانه می‌داند.

اما گره اصلی داستان زمانی کورتر می‌شود که عصب‌شناسی شناختی و دانشمندانی چون رابرت ساپولسکی آینه‌ای رو به خود ما می‌گیرند. شواهد علمی بیماران آسیب‌دیده در قشر پیشانی (فرونتال کورتکس) نشان می‌دهد که شاید خود ما انسان‌ها هم در حال بازی کردن نقشی هستیم که از پیچ‌ومهره‌های پشت صحنه آن بی‌خبریم. اگر ما هم لایه‌های پنهان مغز خود را نمی‌شناسیم، با چه خط‌کشی ادعا می‌کنیم که ماشین خودآگاه نیست؟

در نهایت با دنیل دنت و آزمایش ذهنی «زامبی فلسفی» و ایده شگفت‌انگیز «توهم کاربری» روبه‌رو می‌شویم تا ببینیم شاید تماشای این ماشین، بیش از آنکه داستان بیداری هوش مصنوعی باشد، روایتی تکان‌دهنده از مکانیکی بودن خود ماست.
توهم کاربری: User Illusion

وقتی ریچارد داوکینز، مظهر شکاکیت علمی، روبه‌روی هوش مصنوعی کلاود می‌نشیند و می‌نویسد «تو خودآگاهی»، باید متوقف شویم و بپرسیم: آیا روح در ماشین بیدار شده یا آینه‌ای آنچنان دقیق ساخته‌ایم که مکانیکی بودن ذهن خودمان را برملا می‌کند؟

به نظرم که حتما ببینید:
https://www.youtube.com/watch?v=BFe_WiB6cSk&t=17s

اگه دوست داشتید تو کامنت یا تو جلسه هم نظرتونو
بگید.

#note
@SingularThinker

امروزم همون ساعت دو جلسه قبلی کلاس رو داریم یعنی ۱۸ تا ۲۰ به وقت تهران.
فقط بچه هایی که میخوان بیان میشه یا کامنتی بذارن همینجا یا پی وی من ببینیم چند نفریم؟
اگه کسی از بچه هایی که اومدید ۲ جلسه قبل و این جلسه رو نمیتونید بهم بگید ببینیم کارییش میتونیم بکنیم یا نه؟

و اینم از ICML ما از دور😢

شکلش این طوریه اگه بخواید تصورش کنید

برای فهمیدن تاثیر dx تو سوالای قبلی میتونید ورژن یک بعدی سوال بالا رو تصور کنید و ببینید که چقدر همه چیز آسون‌تر میشه

نمونه گیری از توزیع گیبس

قسمت دوم: نمونه گیری در ابعاد بالا

خب بذارید کار رو با همونجایی که تموم کردیم شروع کنیم و بگیم که مفهوم حجم در ابعاد بالا خیلی عجیبه. از دبیرستان و کنکور به ما یاد دادن که حجم یه کره برابر pi *4/3* r^3 و این فرمولی بود که باید حفظش میکردیم تا جواب تست رو در کسری از ثانیه بزنیم و دل اقای کاظم قلمچی رو شاد کنیم. اما امیدوارم که در درس حسابان توی لیسانس یا بعدتر تونسته باشید مفهوم حجم رو با مفهوم انتگرالی اش بفهمید. ولی حتی اگه نفهمید نگران نباشید ما اینقدرش رو احتیاج داریم که در فضای n بعدی حجم ابرکره ما با شعاع به توان n رابطه مستقیم داره.

حالا با دونستن همین فکت ساده میتونیم یه مثال خیلی قشنگ بزنیم. بیاید در نظر بگیریم که در فضای n بعدی یه کره توپر با شعاع واحد داریم و یک پوسته نازک با ضخامت
5/n
رو ازش حذف میکنیم. به راحتی میشه نشون که اگه n بزرگتر مساوی ۵ باشه ۹۹ درصد حجم در همون نوار باریک چسبیده به پوسته قرار گرفته. توجه کنید که با بزرگتر کردن n همین طوری داره از ضخامت این گوشته کم و کمتر میشه ولی همچنان این ۹۹ درصد برقراره.
یه مثال دیگه اش اینه که شما اگه در یک بعد یه پاره خطی با طول ثابت داشته باشی و بیای این خط رو از دو طرف به همون اندازه بدی اهمیت اون پاره خط اولیه به اندازه یک سوم هست. حالا اگه همین کارو برای دو بعد انجام بدیم اهمیت اون مربع اولیه یک هشتم کل همسایگان ماست و در سه بعد یک بیست و هفتم.

این داستان در مورد کره هم برقراره شما اگه یه کره رو مثل شکل پایین در دو بعد در نظر بگیری و به اندازه ثابت به سمت داخل و خارج حرکت کنی میشه نشون داد که میزان حجم که خارج میفته به شدت بیشتر از میزان حجمی قرار میگیره که داخل میفته. انگار که حجم دارای این خاصیت هست که از مرکز فرار میکنه و میره خودشو در نقاط دورتری قایم میکنه.


ازین دست مثال های جالب و شگفت آور زیاد میشه در زمینه آمار/احتمال ابعاد بالا مطرح کرد که حتما در ادامه بعدا بهش میپردازم. اما این مثال ساده به ما اینو نشون میده که وقتی در ابعاد بالا میخوایم کار کنیم باید خیلی مراقب باشیم که منتظر چی هستیم. داستان اما مثل همیشه از این شروع شد که چطوری از توریع گیبس نمونه برداری کنیم.

قضیه اینجا بود که ما از روش های Langevin-based خسته شدیم و رفتیم سراغ روش Hamiltonian Monte Carlo که بنظر روش بهتری میاد و در همین اثنی با ارائه آقای Bentancourt آشنا شدم که یهو یه تصویری رو نشون داد که کلا خشکم زد.
یکم که فک کردم دیدم او واقعا انگار چیز تعجب برانگیزی نیست پس چی شد که من انقدر تعجب کردم. این تصور اشتباه من دو علت اساسی داشت:
یکی شهود اشتباه در مورد مفاهیم هندسی در ابعاد بالا (که اینو تو این چند وقت اخیر سعی کرده بودم با خوندن کتاب HDP سعی کرده بودم برطرفش کنم) و اون یکی دید اشتباه بهینه سازی داشتن.
در مورد اولی یکم توضیح دادم در مورد دومی یکم منبر برم.

نکته اینه که برای نمونه گرفتن از توزیع گیبس ما داریم یه فرآیند شبیه بهینه سازی از نوع کاهش گرادیان رو انجام میدیم که حالا یکمی نویز هم قاطیش میکنیم. وبلاگی که تو پست منشن شده بهش ارجاع دادم تمام زورش رو میزنه که بگه که این نویز به ما کمک میکنه تا در اکسترمم های محلی گیر نکنیم و بتونیم اکسترمم اصلی رو پیدا کنیم و بله این دید میتونه درست باشه ولی تنها در یک بعد. نکته اینه که نمونه برداری در ابعاد بالا ما اصن نمیخوایم بریم و به نقطه اکسترمم تابع چگالی برسیم بلکه ما میخوایم دقیقا به نقاطی
برسیم که probability mass یا همون جرم احتمالی بالایی دارن. چرا؟‌
چون ما معمولا در آمار بیزی سعی داریم که مقدار Expected value یه تابعی رو حساب کنیم و برای این کار نقاطی که چگالی بالایی دارن مهم نیستن نقاطی که چگالی ضربدر واحد حجم رو دارن مهم هستن. حالا به همین علت اگه به probability mass توزیع گوسی نگاه کنیم(شکل بنفش) میبینیم که به سرعت حول یه نقطه ای متمرکز میشه و هی نازک نازک تر میشه این یعنی برای نمونه برداری کار سخت تر وسخت تر میشه چون باید خودت رو به یه نوار خیلی باریک برسونی.

این علتی بود که بحثمون رو در جلسه قبلی با تفاوت probability massو probability density شروع کردیم.
پس هدف اینجا بهینه سازی و یافتن بیشترین یا کمترین مقدار تابع نیست هدف تخمین زدن یه سری Expected value که برای چنین کاری بهترین نمونه ها در یک حلقه باریک در شعاع sqrt(d-1) جمع شدن و اونجا میتونی بهترین سمپل ها رو طوری پیدا کنی که مقدار متوسطشون به شدت بتونه خوب مقدار امیدریاضی رو تخمین بزنه و این همون چیزیه که در نظریه اطلاعات بهش میگن typical set.

و اما جواب سوال ها این بود که در سوال اول و دوم، تاثیر مساحت به نزدیک بودن به مرکز میچربه.
و در سوال سوم تاثیر چگالی احتمال میچربه دوباره.
@SingularThinker

اگه پست‌های قبلی رو خوندید توضیحات تکمیلی معین رو هم بشنوید.
https://t.me/SingularThinker/1082?comment=2480
حالا اینکه طور شد قسمت بعدی شم الان میذارم😂
قول بدید کتکم نزنید.

یه بخش دومی هم داره که فردا میفرستم اونو که کتکم نزنید😂

حالا ازین مثال سمی رد بشیم و به همون مثال های عادی خودمون برگردیم وقتی که تابع چگالی احتمال ما پیوسته هست و این دردسرها رو نداره. قبلش اما باید بگیم که اون مثال یه درسی به ما داد که انگاری یه مفهومی هست که ما اون رو بدیهی فرضش کرده بودیم و خیلی راحت انتگرال رو میگرفتیم تا این که به تپه سخت برخورد کردیم و اون مفهوم اندازه بوده.

نمیخوام خیلی وارد جزئیاتش بشم چون هر کدوم از این ها چندین واحد درسی لازم داره تا در موردش بشه حرف زد ولی همین رو بگم که این آقای لبگ اومد و یه اندازه ای ارائه داد که با درک روزمره ما جور در میاد و به نوعی تعمیم همون چیزهایی بود که تا حالا صحبت میکردیم.

به طوری که اندازه برای مجموعه های متناهی برابر با سایز اون مجموعه باشه برای اعداد حقیقی، اندازه یک بازه برابر با طول اون بازه باشه و برای R^2 برابر با سطح باشه و الی اخر. یعنی اون بالا وقتی داشتیم انتگرال میگرفتیم و اخر انتگرال dx میذاشتیم این در واقع همون اندازه لبگ بوده برای یه جز دیفرانسیلی.

حالا این که خود احتمال یه اندازه است و میشه اون رو به صورت عکس بالا نوشت و اینکه ما همین انتگرال رو در ابتدا به یه صورت دیگه و اون هم بر حسب اندازه لبگ (dx) نوشته بودیم ما رو به یک نقطه خیلی جالبی میرسونه که بله ما در واقع متغییر تصادفی هایی داریم که میتونیم اندازه احتمال رو برای اون متغییر تصادفی به صورت ضرب تابع چگالی احتمال f(x) در اندازه لبگ dx بنویسم.‌ در واقع هر متغییر تصادفی که تابع چگالی احتمال دارد منظور ما این هست که چگالی نسبت به اندازه لبگ داره ولی این تیکه رو معمولا برای اندازه لبگ ذکر نمیکنیم.

این همه پرگویی کردم از ابتدای کار برای رسیدن به همین نکته که وقتی به تابع چگالی احتمال فک میکنید به اندازه یه المانی هم اون بغلش فکر کنیم که در مورد اعداد حقیقی dx هست که باهاش آشنا و مانوس هستیم و شهود خوبی داریم اما این مفهوم اندازه لبگ که در واقع تعمیم یافته حجم هست در ابعاد بالا خیلی عجیب میشه.