یک نظریهٔ ریاضی برای یادگیری نظارت‌شده باید بتواند به پرسش‌های بنیادی زیر پاسخ دهد. برای سادگی، مدل خطی را به‌عنوان مثال در نظر می‌گیریم:
فرض کنید با استفاده از n دادهٔ آموزشی، یک دسته‌بند خطی d-بعدی را از طریق کمینه‌سازی خطای آموزشی یاد گرفته‌ایم. اگر خطای آموزشی ۱۰٪ باشد، خطای این دسته‌بند روی داده‌های آزمونِ دیده‌نشده چقدر خواهد بود؟
در این چارچوب، خطای آزمون را خطای تعمیم (Generalization Error) نیز می‌نامند، زیرا مستقیماً قابل مشاهده نیست.
⁉️آیا می‌توانیم یک دسته‌بند خطی یاد بگیریم که خطای آزمون آن تقریباً به کوچکیِ خطای بهترین دسته‌بند خطیِ ممکن باشد؟
⁉️آیا می‌توانیم یک روش محاسباتی کارآمد پیدا کنیم که یک دسته‌بند خطی با خطای آزمون کم را به دست آورد؟

در باره ی مدل یادگیری آنلاین (Online Learning) که نمونه‌ای از مسائل تصمیم‌گیری ترتیبی است.

در یادگیری آنلاین، به مسئلهٔ پیش‌بینی دنباله‌ای علاقه‌مند هستیم. در این حالت، یک مدل آماری را با استفاده از داده‌های تاریخی آموزش می‌دهیم و سپس آن را روی داده‌های گام زمانی بعدی آزمایش می‌کنیم. پس از انجام پیش‌بینی، نتیجهٔ واقعی را مشاهده می‌کنیم. این فرایند به‌صورت پیوسته و مرحله‌به‌مرحله تکرار می‌شود.

این مسئله از تحلیل سری‌های زمانی و مسائل پیش‌بینی الهام گرفته شده است. هدف ما این است که بدانیم یک الگوریتم یادگیری تا چه اندازه می‌تواند بر اساس مشاهدات گذشته، رویدادهای آینده را پیش‌بینی کند.
#OnlineLearning
#GeneralizationError
#ML
#Algorithms
@toobabigdatascience