📚 عنوان حلقه: فرآیندهای تصادفی
📢 معرفی حلقه
🗂 گروه حلقه
🗓 جلسه‌ی دوم: معادله‌ی مَستِر (Master)
🖊محتوای جلسه:
🔲 تعریف معادله‌ی مَستِر و کاربرد آن در سیستم‌های پرجمعیت
🔲 معرفی معادله‌ی همیلتون-ژاکوبی
🔲 کاربرد این معادلات در یادگیری تقویتی
🔲 حل مثال ساده‌ی مار و پله‌ی تغییر یافته
📝 توضیحات:
یکی از ابزارهای مهم در مطالعه سیستم‌هایی با تعداد زیادی عامل، معادله‌ی مستر است که تکامل توزیع احتمال وضعیت کل سیستم را توصیف می‌کند. این معادله در بسیاری از حوزه‌ها از فیزیک آماری تا اقتصاد کاربرد دارد؛ اما در این جلسه، تمرکز بر روی نقش آن در مدل‌سازی بازی‌هایی با تعداد بازیکن زیاد و یادگیری تقویتی خواهد بود.
از سوی دیگر، معادله‌ی Hamilton–Jacobi–Bellman (HJB)، قلب روش‌های کنترل بهینه است. این معادله، با توصیف ارزش (Value Function) یک سیاست تصمیم‌گیری، امکان یافتن مسیر بهینه را برای هر عامل فراهم می‌کند. در محیط‌های تصادفی و بازی‌های چندعاملی، ترکیب HJB با رویکردهای Mean Field منجر به بسط معادله مسر می‌شود که راهنمای بهینه‌سازی تصمیمات در سطح جمعیت است.
برای ملموس کردن این مفاهیم، یک مثال ساده از بازی مار و پله در نظر می‌گیریم. در نسخه‌ی کلاسیک، حرکت بازیکن تنها توسط تاس مشخص می‌شود؛ اما اگر یک تصمیم گیری به بازی اضافه شود، مسئله کاملا فرق می‌کند.
برای تمرین، می‌توانید کُدی بزنید که با حساب کردن احتمال، بگوید که از هر خانه‌ی مار و پله، به طور میانگین چند تاس لازم است ریخته شود تا بازی را ببریم. می‌توانید به طور مستقل، ۱۰۰۰ بازی مار و پله را شبیه سازی کنید و ببینید که آمار آن به چه شکل است؛ سپس این عدد را به ۱ میلیون بار برسانید.
🗣 ارائه‌دهنده: هومن زارع
👤 فارغ‌التحصیل کارشناسی فیزیک شریف و کارشناسی ارشد ریاضی شریف
🔴 جلسه به صورت مجازی برگزار می‌گردد
⏰ زمان: جمعه ۱۰ مرداد، ساعت ۱۷:۰۰
📍 لینک برگزاری در اتاق مجازی انجمن علمی فیزیک
🆔 @QuantaSC
🆔 @Hamband_sut
🆔 @Anjoman_Elmi_Phys_sut