Singular Thinker

پس تا اینجا دیدیم که چطوری مفهوم انتگرال در احتمال زاده شده و اونو رها نمیکنه. عین یک بختک افتاده روش چرا حالا؟

چون مثال هایی وجود داره که ما میتونیم یه متغییر تصادفی تعریف کنیم بدون اینکه بتونیم انتگرالش رو حساب کنیم. وااااا؟ یعنی چی؟

یعنی اینکه بیاید یه تابع چندضابطه ای زیر رو در نظر بگیرید: تابعی که اگر عدد ورودی گویا باشه مقدارش برابر با یک هست و صفر در غیر این صورت. این تابع هم مثل تمامی توابع بالا رو اعداد حقیقی تعریف شده است. حالا اگه بخوایم انتگرال رو به صورت عادی در یک همسایگی حساب کنیم اینجاست که انتگرال عادی(ریمان) دست ما رو میذاره تو پوست گردو و نمیشه این کارو انجام داد. برای این که تصور بهتری داشته باشید بیاید و نمودار تابع روتصور کنید. بله درسته، ما با یه سری سیخ های تو در تو مواجه هستیم و این جاییه که انتگرال ریمان دچار آنگوزمان میشه.
چون اگه یادتون باشه میومدیم محور x رو به n بازه افراز میکردیم. یه بار کران بالای مقدار در هر بازه رو در نظر میگرفتیم و یه بار کران پایین رو و تهش حد رو وقتی n به سمت بینهایت میل میکرد در نظر میگرفتیم. در اینجا کران بالا در هر محدوده ای (هر چقدرم کوچیک) یک عه و کران پایین صفر بنابراین انتگرال جواب ندارد.

خب چاره چیه؟ چاره اینه که بریم در ریاضیات و مفهوم خود انتگرال رو تعمیم بدیم و به جای انتگرال ریمان از انتگرال لبگ/Lebesgue استفاده کنیم. برای اینکه چنین کاری بکنیم باید از چیزی استفاده کنیم که بهش میگن نظریه اندازه یا measure theory. حالا در این صورت میتونیم بیایم و انتگرال بالا رو هم تعریف کنیم.

حالا این انتگرال لبگ و این نظریه اندازه که میگید چی چی هست؟
داستان اینه که اینجا بجای اینکه محور x رو به مستطیل های کوچیک کوچیک افراز کنیم و بعد روی اون ها انتگرال بگیریم میایم و مجموعه تمام x هایی که مقدار تابعشون یه مقدار مشخصی هست رو «اندازه» میگریم و ضرب در اون مقدار مشخص میکنیم و بعد با هم جمع میبندیم. مثلا در مثال بالا که به تابع دیریکله معروفه، مجموعه x هایی که مقدارشون یک میشه برابر با مجموعه اعداد گویاست. حالا باید ببینیم اندازه این مجموعه اعداد گویا چقدره؟
همین طور که دوباره قابل حدسه اندازه یه تابعی هستش که یک مجموعه رو میگیره و یه عددی بهش نسبت میده.
حالا یه مثال از اندازه که اینجا میتونه معنی دار باشه این هست که اگر مجموعه شمارا باشه اندازه اش صفره. حالا با این تعریف از اندازه انتگرال تابع دیریکله تعریف میشه و مقدارش برابر با صفر هستش.
چون اون مجموعه نقاطی که مقدارشون یکه اندازه شون صفره و بالعکس.

با این دید اندازه میشه راحت دید که اصن خود احتمال چیزی نیست به جز یه نوع خاصی از اندازه که همیشه برای هر مجموعه ای بین صفر و یکه و جمعش روی تمامی حالت ها باید یک بشه.
و با این حساب میشه احتمال رخدادن مجموعه A رو به صورت انتگرال زیر تعریف کرد:

حالا اگه بخواید بیشتر ریاضیدان بازی در بیارید، بهتون میگم بیاید و یه کاری کنیم که بشه راحت تر و توی یه خط تابع رو تعریف کرد و نه فقط برای دو نقطه خاص. پس بیایم دامنه تابع رو به کل اعداد حقیقی گسترش بدیم.
در واقع میشه تابع جرم احتمال رو هم به صورت زیر باز نویسی کنیم:

P(X = x) = P_X (x) = q * 1_{x==0} + (1-q) * 1_{x==1}

خب این حالا شاید بپرسید که جریان این یک های با زیروند مجموعه که نوشتیم چیه؟
که جوابش اینه که هیچی اینا تابع مشخصه هستن که در صورتی که اون شرط داخل آکولاد برقرار باشه یک هستن و در غیر این صورت برابر صفر هستن.

با استفاده از این بازنمایی جدید یه کار دیگه که میشه انجام داد این هست که توزیع احتمال متغییر تصادفی گستته مون رو میشه به صورت یه انتگرال نوشت. به طوری که P(X =x) رو میشه به صورت یک انتگرال در همسایگی حول x تعریف کرد و طبق خاصیت تابع مشخصه حاصل انتگرال برابر مقدار تابع بغلیش در نقطه شرط تابع مشخصه است . خب شاید الان سوال براتون پیش بیاد که چرا داریم این حرکات عجیب رو انجام میدیم و مفاهیم رو هی تعمیمدهی میکنیم ولی دست به گیرنده هاتون نزنید با من همراه باشید تا آخر متن و امیدوارم که براتون واضح بشه.

خب ولی الان بدون اینکه حواستون باشه من تابع جرم احتمال رو یه طوری تعریف کردم که متغییر تصادفی ما درسته در ابتدا گستته بود ولی الان با تعریف بالا میتونه یک متغیر تصادفی پیوسته خاصی هم باشه. یعنی در واقع تابع جرم احتمال رو به ۲ صورت تعریف کردم: یکی با همون مفهوم آشنای تابع چند ضابطه ای و یکی با انتگرال گرفتن از نسخه تعمیم یافته اون تابع.

حالا بیاید یه خاصیت مهم دیگه احتمال رو یادآوری کنیم اونم اینکه جمع تمامی احتمال ها باید برابر با ۱ بشه. تو حالت گستته باز خیلی آسونه. یه جمع داریم روی تمامی رخداد های ممکن و برای هر رخداد مقدار تابع جرم احتمال اون رخداد رو در نظر میگیریم. اما الان با این حرکتی که انجام دادیم و دامنه تابع جرم احتمال رو به کل اعداد حقیقی گسترش دادیم میتونیم و انتگرال هم بگیریم.
حالا در نتیجه به مانند شکل زیر خیلی راحت میتونیم انتگرال این دوست عزیزمون رو بگیریم و باز هم به جواب یک برسیم.
انتگرال رو همیشه با سطح زیر نمودار برای ما تفسیر کردن ولی در این حالت اگه نمودار P_X رو بیایم بکشیم میبینیم که نمودار این تابع ۲ تا سیخ هستش ولی سطح زیر نمودارش صفر نیست و این تنها بخاطر حضور تابع مشخصه است.

گام بعدی در اختراع/اکتشاف مفاهیم احتمال ما این هستش که متغییر تصادفی رو در نظر بگیریم که به جای دو حالت مثلا ۶ حالت داشته باشه مثل تاس و حالا ما هستیم و یه نمودار تابع توزیع جرم احتمال با ۶ تا سیخ.

حالا گام بعدی این خواهد بود که بیاید و یه متغییر تصادفی با تعداد رخدادهای نامتناهی ولی شمارا رو در نظر بگیریم. یعنی چی؟
یعنی که فرض کنید که X میتونه یه عدد طبیعی باشه که احتمالش با توجه به شرط زیر بدست میاد:
P(X = i) = (1/2)^i for i = 1,2,3,...
حالا همین رو اگه بخوایم مثه قبل گسترشش بدیم به حالت قبلی میبینیم که
P(X = x) = (1/2)^x * 1_{x belongs to N}
حالا اگه نمودار P_X رو بیایم بکشیم میبینیم که نمودار این تابع با تعدادی بینهایت تا سیخ هستش ولی همچنان ناپیوسته است.

خب حالا اگه من دوباره بیام و بخوام مثال بالا رو تعمیمش بدم چی؟ جالب میشه نه؟ به این صورت که حالا این سری به جای اینکه تابع من روی نامتناهی نقطه اما شمارا تعریف بشه روی نامتناهی ناشمارا نقطه تعریف بشه. شبیه این گام رو در حسابان موقع تعریف مفهوم انتگرال هم شاید دیده باشید. حالا میتونیم یه تابع پیوسته به جای این تابع های سیخ سیخی تعریف کنیم. چرا؟ چون توابع پیوسته خوبن. بلدیم چطوری باهاشون کار کنیم.

اما یه فرقی که ایجاد شد اینه که احتمال هر تک نقطه برابر با صفره. چرا؟
چون قبلا میتونستیم یه همسایگی اطراف هر رخداد پیدا کنیم که وقتی انتگرال میگیریم بخاطر حضور تابع مشخصه در حاصل انتگرال فقط مقدار اون نقطه حضور داشته باشه ولی حالا اگه یه تابع پیوسته ای داشته باشیم هر همسایگی(هرچقدر کوچیک) اطراف نقطه مورد نظر تعریف کنیم حاصل انتگرال صفر میشه. پس حالا در واقع با این تعریف ما احتمال بیشتر از صفر رو در بازه هایی از اعداد حقیقی داریم و احتمال رو به اون نسبت میدیم و به این تابعی که ازش انتگرال میگیریم میگیم تابع چگالی احتمال . چرا چگالی؟ چون این تابع داره انگار چگالی هر بازه خیلی کوچیکی روی محور اعداد حقیقی رو به ما میگه.

نمونه گیری از توزیع گیبس

قسمت اول: مروری بر نظریه احتمال

خب من بعد از مدت ها برگشتم. اول از همه باید بگم که من متاسفم که انقدر دیر دارم جواب این سوال ها رو میدم.
دوم باید بگم که جواب تمام سوال های بالا b یا همون بیلاخ وارون بود.
میدونم که این جواب برای بعضی ها میتونه شوکه کننده باشه و الان این طورین که پس توضیحات؟!

همین ابتدا تاکید کنم که هدف از طراحی این سوال ها ابدا امتحان گرفتن یا محاسبه انتگرال روی سطح و تغییر مختصات دستگاه قطبی نبود بلکه هدف دقیق ترین شدن و عمیق تر شدن روی مفاهیم احتمال مخصوصا در احتمال در ابعاد بالا بود.

خب اما برای اینکه توضیحات رو به اندازه کافی بدم تا کتکم نزنید، بیاید با این شروع کنیم که اصن تابع چگالی احتمال یا Probability density function چیه؟ که گوسی چندمتغییره اش چی باشه؟
میدونم که احتمالا اکثرا میدونید که چیه، منظورم اینه که بیاید یکم غور کنیم درش.
اگه با مفاهیم نظریه احتمال آشنا هستید این متن رو رها کنید و شاید بهتر باشه قسمت های بعدی رو بخونید اگه دوست داشتید.


داستان ازونجایی که شروع میشه که بطور تاریخی احتمال برای متغییر تصادفی های گسسته شروع میشه. تو ایران هم معمولا تو راهنمایی/دبیرستان بیشتر باهاشون سر و کله میزدیم. این انتخاب تصادفی نبوده چون بنظر من درک مفاهیم احتمال در فضای گسسته خیلی سرراست تر و ملموس تره.

خب پس بیاید با همون مفهوم سر راست تر خودمون شروع کنیم. ما در دنیای متغییرهای تصادفی گسسته یه تابعی داریم به اسم تابع جرم احتمال /probability mass function . این بنده خدا میاد میگه که متغییر تصادفی شما چقدر احتمال داره مقدارش 'رو' باشه.
و این طوری هم نشونش میدیم
P (X = 'رو') = 0.37.

پس در واقع تابع جرم احتمال از شما یه عضو توی فضای نمونه میگیره(مثلا 'رو') که بهش میگیم رخداد و بهتون احتمال اون رخداد رو برمیگردونه. انتظار داریم که عدد احتمال عددی بین صفر و یک باشه و جمع احتمال رخداد ها برابر با یک باشه.
حالا اینکه این عدد دقیقا چه معنایی داره بحث رو یکم فلسفی میکنه ولی از دید فراوانی گرایانه یعنی اگه بی نهایت بار این آزمایش رو تکرار کنیم با چه فراوانی سکه 'رو' میاد.

خب حالا بیاید یکم ازین کارایی بکنیم که ریاضیدان ها میکنن. یعنی چی کار؟ یعنی انتزاعی سازی.
شما به عنوان ریاضیدان، بترکون که باشی باید سعی کنی یه مفهومی رو در روزمره ببینی عمیقا درکش کنی و بعدش هی انتزاعیش کنی. چرا؟ چون احتمالا ۲ هزارتا جای دیگه هم اون چنین مفهومی هست و اون زبون سطح بالای انتزاعی میتونه یکجا واقعیت هایی رو در مورد تمومی اون ۲ هزار کاربرد نشون بده.

خب اولین کار اینه که بیایم و به جای کلمه های 'پشت' و 'رو' دو تا عدد طبیعی صفر و یک رو در نظر بگیریم. خب تبریک میگم شما متغییر تصادفی برنولی رو بازتولید کردید که هزار جای دیگه کاربرد داره. پس الان دامنه تابع جرم احتمال شما مجموعه {0,1} هستش و برد شما اعداد حقیقی بین صفر و یک [0,1].
خب حالا اگه بخوایم این تابع رو به زبون ریاضی نشونش بدیم چیکارش میکنیم؟
اگه یادتون باشه توی دبیرستان مفهوم تابع چند ضابطه ای رو داشتیم که اینجا تابع ما دو ضابطه ای هستش. که به صورت عکس پایین نشونش میتونیم بدیم.

#math

این اخبار ICML رو دیدم یادم افتاد یه چیزی میخواستم بگم که من virtual pass این کنفرانس رو دارم که اجازه میده ویدئو و اسلایدای یه سری چیزا رو داشته باشم
اگه حس میکنید واقعا نیازه که یه چیزی رو ببینید بهم بگید اگه بتونم یه جوری بدستتون میرسونم

اعلام جوایز ICML 2026

پیپرهای Outstanding Paper، Outstanding Position Paper و Test of Time این دوره از کنفرانس ICML مشخص شدن.

از میان پیپرهای سال 2016، جایزه Test of Time به پیپر زیر تعلق گرفت. دلیل این تصمیم هم تاثیر این کار در روند post-training مدل‌های زبانی و استفاده بهینه از RL در تسک‌های صنعتی بوده. هدف این کار معرفی یک فریمورک ساده برای آموزش ایجنت‌ها به صورت همزمان بر روی چندین GPU و موازی‌سازی این فرایند بود. معروف‌ترین الگوریتمی هم که معرفی کردن، الگوریتم asynchronous advantage actor-critic (یا A3C به اختصار) هست که در اون سال بسیاری از بنچ‌مارک‌ها رو به چالش کشید.

Asynchronous Methods for Deep Reinforcement Learning | Link
By Volodymyr Mnih, et al.

جایزه Outstanding Paper به دو پیپر زیر تعلق گرفت (از بین 6627 پیپر!). هر دو این پیپرها در رابطه با diffusion modelها هستن، اولی در مورد استفاده‌ای از این مدل‌ها در تسک‌های زبانی و دومی در رابطه با score based sampling. متاسفانه اطلاعات زیادی در این حوزه ندارم که توضیحی در این باره ارائه بدم =)

- The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models | Link
By Zanlin Ni, et al.
- High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions | Link
By Fan Chen, et al.

یک Track جدیدی هم اخیرا در کنفرانس‌ها به راه افتاده تحت عنوان Position papers نویسنده‌ها میان و در مورد دیدگاهشون در رابطه با یک مسئله خاص یا یک چشم‌اندازی در فیلد صحبت می‌‌کنن. در ICML امسال برای این سری از پیپرها هم یک جایزه اختصاص دادن و اون هم به پیپر زیر اختصاص داده شده که پیپر جالبیه بنظرم. در رابطه با این مسئله صحبت میکنن که روش‌های alignment هر چقدر که خوب هم باشن، در عین حال می‌تونن برای سانسور و manipulation هم استفاده بشن که خب این بده. یک وبسایت جالبی هم دارن که لینکش رو پایین میذارم (یک ویدیو هم ساختن و گریزی زدن به کتاب 1984 که البته شاید too much باشه).

Position: The Alignment Community is Unintentionally Building a Censor’s Toolkit | Link | Website
By Sarah Ball, Phil Hackemann.

درباره روند تصمیم‌گیری کمیته انتخاب و پیپرهایی که Honorable Mention شدند هم در بلاگ‌پست ICML می‌تونین بخونین.

- بلاگ‌پست اعلام جوایز ICML 2026
#News
@Intelligent_Machines

خب ممنون از همه کسایی که اومدن خیلی جلسه جالب و تعاملی بود.
من خودم خیلی استفاده کردم و یاد گرفتم.
هفته دیگه به شرط حیات شنبه و یکشنبه همین ساعت هم برگزار میکنیم که ایشالا دیگه تموم بشه این mini-course که بعدش به این فک کنیم که چیکار کنیم.

برای کسایی که یا جا موندن یا میخوان ببینن که چی رو داریم پوشش میدیم:
به طور کلی تا الان فصل اول این جستار پایین رو پوشش دادیم.
https://arxiv.org/abs/2110.11216
و تا حد خوبی مفاهیم فصل اول و دوم کتاب LFP از آقای Bach:
https://www.di.ens.fr/~fbach/ltfp_book.pdf

هفته ی آینده فصل دوم جستار رو ادامه میدیم به شرط حیات و جلسه بعدترش من سعی میکنم مقاله خودمو توضیح بدم.
#learning_theory

۵ دیقه دیگه شروع میکنیم ...

Singular Thinker pinned «خب درود اگه دارید من میخونید بدونید که امروزم مثل دیروز ساعت ۱۸ به وقت تهران میبینمتون. توصیه میکنم حتی اگه ویدئوی دیروز رو کامل ندید امروز رو بیاید چون مرور میکنم قسمت مهمشو و در آینده وقت هست که کامل تر ببینید. لینک کلندر امروز رو هم تو کامنت همین پست…»

خب درود اگه دارید من میخونید بدونید که امروزم مثل دیروز ساعت ۱۸ به وقت تهران میبینمتون.

توصیه میکنم حتی اگه ویدئوی دیروز رو کامل ندید امروز رو بیاید چون مرور میکنم قسمت مهمشو و در آینده وقت هست که کامل تر ببینید.

لینک کلندر امروز رو هم تو کامنت همین پست میذارم شاید از شر ربات ها در امان بمونه.
برای اینکه اجازه ورود نخواد اول Yes رو بزنید و بعد وارد میت بشید.

دیشب من وسط کامنتا یادمه که amir هم یه کامنتی گذاشته بود که دیگه پاکش کرده متاسفانه.
خواستم بگم که نمیخوام اسپویل کنم ولی اگه تا اخرش بیای شاید به اون چیزی که گفتی هم برسیم :))

من لینک ویدئوی ضبط شده ی جلسه اول رو میذارم که کسایی که دیروز نیومدن بتونن ببینن که جلسه چطوری بوده و کلا منظورمون از Learning theory و این چیزها چیه.ولی از جلسه بعدی ویدئوی ضبط شده رو دیگه نمیذارم تو کانال حداقل تا موقعی که فرصت کنم و یه دستی به سرشون بکشم و شاید بخوام بذارم یوتیوبی جایی.

منطقش هم اینه که از طرف من از اول هدفم این بود که یه کامیونیتی کوچیکی پیدا کنیم و بتونیم با هم دیگه تعامل داشته باشیم و از هم چیز یاد بگیریم نه اینکه من بتونم یا بخوام مثلا ادعایی در زمینه آموزش این مباحث داشته باشم که حالا بخوام دوره ضبط کنم و پخشش کنم. از طرف شما هم قطعا با بیانی خیلی بهتر و شیواتر از من ChatGPT و کلی مقاله و ویدئو هست که بتونید اینا رو یاد بگیرید. صرفا ارزش افزوده این کلاس میتونه این بخش سوال پرسیدن و ایده دادن و شناختن آدم های هم مسیر باشه.

بنابراین اگه حال کردید پاشید بیاید سر کلاس. در مورد روز و زمانش اگه مشکل دارید بهم پیام بدید.

https://drive.google.com/file/d/1fP4KP-zQ-ptguDEZqBSaiZ1RH-y6t_8s/view?usp=sharing
#learning_theory

خب جلسه اول برگزار کردیم.
مرسی از همه که اومدید جلسه خوب و سنگینی بود.
حتما بهم بازخورد بدید شناس یا ناشناس.

به شرط حیات فردا هم ادامه میدیم تا این که آخرش تصمیم بگیریم و ببینیم که برای ادامه مسیر چی میشه. من یه نظرسنجی میذارم که ساعت فردا رو ست کنیم.

همون طور که دیدید پیش نیاز خاصی رو واسه این دوره در نظر نگرفتم ولی قراره وارد اثبات و ریاضیات قضیه بشیم و گرنه دیگه اسمش Learning theory نمیشه بنظرم. دوباره یادآوری میکنم که ممکنه اولش سخت باشه ولی دووم بیارید و کم کم بهش عادت میکنید. من خودمم همین مسیر رو طی کردم و همچنان در همین مسیرم.

اگه این جلسه رو جا موندید ولی میخواید بیاید پیام بدید لینک ویدئو ضبط شده رو براتون بفرستم. شاید بعدا روی یوتیوب هم گذاشتمش به طور کلی.

خب بچه ها کم کم تا ۱۵ دیقه دیگه میبینمتون:
PAC-Bayes Mini-tutorial
Video call link: https://meet.google.com/imq-msgv-gnn

https://calendar.app.google/CJZE1qGg2pyHeARH9

سلام بچه‌ها با توجه به این نظرسنجی ساعت ۱۸ به وقت تهران میبینمتون.

مینی کورس در مورد PAC-Bayes

خب من بعد از مدت ها برگشتم.
اول از همه باید بگم که من متاسفم که انقدر دیر اومدم ولی در عوضش با دست پر اومدم. خیلی وقته منتظر بودم که فراغ خاطری گیر بیارم که بتونم بیام اینجا و اینا رو بنویسم.

دوم باید بگم که یه سری متن برای جواب سوال های بالا آماده کردم که خیلی توش روده درازی کردم ولی حالا به تدریج میذارمشون.

ولی الان اومدم یه چیز مهمتری رو اعلام کنم و اون اینکه وقتاتونو خالی کنید چون من قصد دارم یه مینی کورس Learning theory با تمرکز بر Generalization Bounds و مخصوصا PAC-Bayes رو به صورت آنلاین برگزار کنم و چه تایمی بهتر از این شنبه و یکشنبه که میدونم همگی تعطیلید و اعصابا خورده.
قرار بود این دوره حضوری و در دی ماه در ایران برگزار بشه که خودتون بهتر میدونید داستان چی شد.

هدف از برگزاری این دوره آشنایی با برخی از مفهوم های موجود در نظریه یادگیری هستش. پیش نیاز خاصی رو واسه این ارائه ها در نظر نگرفتم و از ب بسم الله شروع میکنم و آخرش مقاله خودمون رو که در ICML پذیرفته شده به طور همزمان با برگزاری ICML ارائه میدم با لعنتی دیگر بر آخوند که نذاشت من اونجا باشم.
تنها پیش نیازی که وجود داره علاقه به ریاضی و دقیق تر کردن استدلال ها و این صوبتاست.

هدف بزرگتر از این دوره اما اینه که شاید بتونیم یه کامیونیتی بسازیم که در ادامه بتونیم یه ژورنال کلاب در همین حوزه PAC-Bayes و یا یه reading group درست کنیم و با هم پیش بریم و یاد بگیریم.

در مورد جزئیات برگزاری ش این که سعی میکنم بر بستر گوگل میت باشه که شما هم راحت دسترسی داشته باشید و اینکه برای تایمش در شنبه و یکشنبه نظر سنجی میکنم.

ولی به طور کلی اگه موافقید و دوست دارید که شرکت کنید یه بیلاخ وارون پای این متن بذارید.

ممنون میشم اگه تو کانالاتون هم بفرستید که بتونیم کامیونیت بزرگتریی رو پیدا کنیم.

#learning_theory #PAC_Bayes
@SingularThinker

من میدونم که جواب این سوالا رو ندادم ولی فعلا در سفرم به زودی میام و جواب میدم.
ببخشید پویا😂❤️