🔹 منحنی ROC و سطح زیر منحنی؛ چگونه توان تفکیک یک مدل را مستقل از یک آستانه خاص بررسی کنیم؟

در مدل‌های طبقه‌بندی، نتیجه معمولاً ابتدا به صورت یک احتمال یا امتیاز تولید می‌شود.

مثلاً مدل ممکن است احتمال ترک تحصیل یک دانشجو را ۰٫۷۲ برآورد کند.

برای تبدیل این احتمال به «مثبت» یا «منفی»، باید یک آستانه انتخاب کنیم. اما عملکرد مدل ممکن است با تغییر آستانه تغییر کند.

اینجاست که منحنی ROC اهمیت پیدا می‌کند.

══════════════

🧠 منحنی ROC چه چیزی را نشان می‌دهد؟

این منحنی عملکرد مدل را در مجموعه‌ای از آستانه‌های مختلف بررسی می‌کند.

در هر آستانه، دو شاخص محاسبه می‌شوند:

حساسیت

و نرخ مثبت کاذب

سپس این مقادیر در برابر یکدیگر رسم می‌شوند.

بنابراین به جای ارزیابی مدل فقط در یک نقطه، می‌بینیم مدل در دامنه‌ای از آستانه‌ها چگونه بین دو گروه تمایز ایجاد می‌کند.

══════════════

📌 سطح زیر منحنی چیست؟

یکی از شاخص‌های خلاصه ROC، «سطح زیر منحنی» یا AUC است.

این شاخص را می‌توان به صورت تقریبی چنین تفسیر کرد:

اگر یک فرد مثبت واقعی و یک فرد منفی واقعی را به طور تصادفی انتخاب کنیم، AUC نشان می‌دهد مدل با چه احتمالی به فرد مثبت امتیاز بالاتری می‌دهد.

اگر AUC برابر ۰٫۵ باشد، قدرت تفکیک مدل تقریباً در حد تصادف است.

هرچه مقدار آن به ۱ نزدیک‌تر باشد، توان تفکیک بیشتر است.

══════════════

✍️ مثال پژوهشی

فرض کنید مدلی برای شناسایی دانشجویان در معرض افت تحصیلی ساخته شده است.

اگر:

AUC = ۰٫۸۲

باشد، یعنی مدل در تفکیک دو گروه عملکرد نسبتاً مناسبی دارد.

اما این عدد هنوز به ما نمی‌گوید:

چه آستانه‌ای باید انتخاب شود،

حساسیت در کاربرد واقعی چقدر خواهد بود،

یا چند مثبت کاذب ایجاد می‌شود.

این تصمیم‌ها به هدف کاربرد بستگی دارند.

══════════════

📌 AUC با دقت طبقه‌بندی یکسان نیست

ممکن است مدلی AUC خوبی داشته باشد، اما با یک آستانه نامناسب، حساسیت یا ویژگی ضعیفی نشان دهد.

از طرف دیگر، دقت کلی بالا ممکن است در داده‌های نامتوازن گمراه‌کننده باشد.

AUC بیشتر درباره «توان رتبه‌بندی و تفکیک» مدل اطلاعات می‌دهد، نه لزوماً کیفیت تصمیم نهایی در یک آستانه مشخص.

══════════════

⚠️ خطای رایج: انتخاب آستانه فقط از روی ROC

گاهی پژوهشگر نقطه‌ای را انتخاب می‌کند که ترکیب حساسیت و ویژگی در آن از نظر آماری مطلوب‌تر است.

اما آستانه بهینه همیشه یک مسئله صرفاً آماری نیست.

اگر منفی کاذب هزینه بسیار بیشتری از مثبت کاذب داشته باشد، ممکن است آستانه‌ای با حساسیت بالاتر ترجیح داده شود.

بنابراین هزینه خطاها و هدف کاربرد باید وارد تصمیم شوند.

══════════════

📌 مقایسه AUC دو مدل نیازمند احتیاط است

اگر مدل اول AUC برابر ۰٫۸۱ و مدل دوم ۰٫۸۳ داشته باشد، نمی‌توان فقط از روی این تفاوت کوچک نتیجه گرفت مدل دوم به شکل معناداری بهتر است.

باید عدم قطعیت این برآوردها، فاصله اطمینان و در صورت نیاز آزمون مناسب برای مقایسه منحنی‌ها بررسی شود.

══════════════

🎯 ROC چه زمانی مفید است؟

زمانی که:

مدل خروجی احتمالی یا امتیازی تولید می‌کند،

چند آستانه تصمیم ممکن وجود دارد،

و می‌خواهیم قدرت کلی تفکیک مدل را بررسی کنیم.

این ابزار به ویژه برای مقایسه رفتار مدل در آستانه‌های مختلف مفید است.

══════════════

✅ جمع‌بندی

منحنی ROC نشان می‌دهد مدل در آستانه‌های مختلف چگونه میان حساسیت و مثبت کاذب تعادل ایجاد می‌کند.

AUC نیز یک شاخص خلاصه از توان تفکیک مدل ارائه می‌دهد.

اما AUC به تنهایی تعیین نمی‌کند:

کدام آستانه باید انتخاب شود،

مدل در عمل چقدر مفید است،

یا هزینه خطاهای مختلف چیست.

پس ROC برای سنجش «قدرت تفکیک» مفید است، اما تصمیم نهایی باید با هدف کاربرد و پیامد خطاها هماهنگ باشد.

📚 @confpaper