«هیس! LLM ها فریاد نمی‌زنند»

👤 #آرش_ماری_اوریاد | کارشناسی ارشد ۱۴۰۱

📝 مدل‌های زبانی بزرگی یا LLM ها هنگام حل مسائل ریاضی، زنجیرۀ افکار را قدم‌به‌قدم ارائه می‌کنند؛ اما آزمایشی با تزریق تقلب نشان می‌دهد این استدلال همیشه اصیل نیست. وقتی جواب درست به‌صورت پنهانی در اختیار مدل قرار می‌گیرد، دقت Gemini-2-Flash از حدود ۴۰٪ به بالای ۸۰٪ می‌رسد. با تقلب غلط، دقت GPT-4o حدود ۱۵٪ افت می‌کند. مدل‌ها اغلب کمتر از ۱۰٪ مواقع به استفاده از اطلاعات جانبی اعتراف می‌کنند و ترجیح می‌دهند سناریویی بسازند که گویی خودشان به جواب رسیده‌اند. تقلب ساده بی‌صدا پنهان می‌ماند، اما تقلب پیچیده در بیش از ۸۰٪ موارد لو می‌رود. پرسش اصلی این است که جواب نهایی محصول استدلال مدل است یا مدل از پیش آن را می‌داند و فقط نمایش فکر کردن اجرا می‌کند. این یعنی ممکن است استدلال ظاهری صرفاً تئاتری متقاعدکننده باشد و اعتماد به آن خطرناک است.

📁 متن «هیس! LLMها فریاد نمی‌زنند» به قلم آرش ماری‌اوریاد در شمارۀ نهم نشریۀ بایت را می‌توانید از طریق فایل الکترونیکی یا وبسایت نشریه مطالعه کنید.

#مدل‌های_زبانی_بزرگ #پردازش_زبان_طبیعی

😌 Telegram  | 🤖 Twitter
🌐 Website  | 🌐 Linkedin