· به دانش‌آموز شماره ۱ که ۵۱٪ مطمئن بوده، می‌گوید: «نمره‌ات خوب است، ولی کم‌تر از کسی که مطمئن‌تر بوده.»
· به دانش‌آموز شماره ۲ که ۹۹.۹٪ مطمئن بوده، نمرهٔ عالی می‌دهد.

حالا اگر هر دو دانش‌آموز اشتباه کنند (جواب «ب» بدهند، درحالی که «الف» درست است):

· دانش‌آموز شماره ۱ با ۵۱٪ اطمینان می‌گوید «ب» >>> خطایش خیلی زیاد نیست، چون خودش هم مطمئن نبوده.
· دانش‌آموز شماره ۲ با ۹۹.۹٪ اطمینان می‌گوید «ب» >>>خطایش فاجعه‌بار است! چون با کمال جرات اشتباه کرده.

🤖پس آنتروپی متقاطع دقیقاً چه می‌گوید؟

«نمی‌پرسم درست گفتی یا غلط. می‌پرسم:
چقدر به پاسخ درست اطمینان داشتی؟»

اگر درست گفتی و مطمئن بودی آنگاه پاداش خیلی خوب.
اگر درست گفتی ولی مردد بودی آنگاه پاداش کم‌تر.
اگر غلط گفتی و مطمئن بودی آنگاه تنبیه سنگین.


چرا شبکه‌های عصبی از آن استفاده می‌کنند؟

چون اگر فقط بگوییم «درست» یا «غلط»، شبکه نمی‌فهمد که باید کم‌کم مطمئن‌تر شود. مثل این می‌ماند که به دانش‌آموز فقط بگویید «قبول» یا «رد»؛ اما آنتروپی متقاطع مثل نمرهٔ تشریحی است که به شبکه می‌گوید:
«هرچه مطمئن‌تر و درست‌تر باشی، نمرهٔ بهتر می‌گیری. پس سعی کن اطمینانت را بالا ببری.»

به همین دلیل، شبکه‌های عصبی با این تابع یاد می‌گیرند که نه فقط درست جواب دهند، بلکه با اطمینان بالا درست جواب دهند.

#CrossEntropy
#Accuracy
#LossFunction
#ML
@toobabigdatascience