💡 رایج‌ترین خطایی که بین شرکت‌کنندگان انسانی دیده می‌شه، ناتوانی در پیدا کردن راه‌حل درسته. ولی نکته جالب اینه که انسانها معمولاً خودشون می‌دونن که جوابشون درسته یا نه. ولی همه مدلهای زبانی حتی وقتی مسئله رو اشتباه حل میکردند با از اطمینان ادعا میکردند که مسئله رو حل کرده اند! یعنی حتی توانایی درک درست یا غلط بودن راه حل خودشون رو هم ندارند!
اینو من در دوره پایتورچ که برای اثبات برخی روابط بهینه سازی از ChatGPT کمک میگرفتم خیلی میدیدم. جالبیش اینجا بود که وقتی بهش میگفتم اشتباه اثبات کردی ازم تشکر میکرد و دوباره همون مسیر اشتباه رو میرفت 😁 ⚠️مقاله در ادامه ذکر میکنه که این تفاوت (بین مدلها و انسانها) یه چالش بزرگ برای استفاده از مدلها در زمینه های ریاضیات ایجاد میکنه، چرا که نمیتونیم به جوابهای مدلها اعتماد کنیم! مگر اینکه توسط یک انسان دقیق بررسی بشوند.
💡نکته بعدی اینه که نویسندگان مقاله در آزمایشات مشاهده کرده اند این بود که مدلها مشکل اساسی در خلاقیت دارند، بیشتر مدلها فقط یک روش که اونم معمولا اشتباه بوده رو بارها امتحان میکردن و اصلا سراغ روش دیگه ای نمیرفتند!
@Onlinebme