🔥پیش‌بینی‌های اشتباه اما با اعتمادبه‌نفس بالا، جریمه بسیار سنگینی دریافت می‌کنند.
و این فقط در الگوریتمهای یادگیری ماشین نیست! که در همه‌ی زندگی‌ست

چرا Cross-Entropy پرکاربردترین تابع زیان در طبقه‌بندی، شبکه‌های عصبی عمیق، CNNها، ترنسفورمرها و مدل‌های زبانی مانند GPT است؟

آنتروپی متقاطع (Cross-Entropy) دقت (Accuracy) را اندازه نمی‌گیرد.

👨‍🏫فرض کنید یک معلم هستید

✌️به دو دانش‌آموزتان یک سؤال چهارگزینه‌ای می‌دهید. که جواب درست، گزینهٔ «الف» است.

1⃣دانش‌آموز شماره ۱ (پیش‌بینی A):
با تردید می‌گوید:
«به نظرم الف است... ۵۱٪ مطمئنم. ولی ممکن است ب هم باشد، ۴۹٪.»

2⃣دانش‌آموز شماره ۲ (پیش‌بینی B):
با قاطعیت می‌گوید:
«۱۰۰٪ مطمئنم الف است! ۹۹.۹٪ که می‌شود همین.»

👁‍🗨اگر فقط «درست یا غلط» را نگاه کنیم (همان Accuracy):
هر دو دانش‌آموز جواب درست داده‌اند. نمرهٔ هر دو می‌شود ۲۰ از ۲۰.
فرقی نمی‌کند یکی مطمئن بوده، یکی نه. برای ما مهم نیست.

*⃣اما آنتروپی متقاطع (Cross-Entropy) مثل یک معلم دقیق‌تر است:
او می‌گوید:
«نه، فقط درست بودن کافی نیست. به من بگو چقدر به جوابت اطمینان داشتی؟
ادامه
@toobabigdatascience