تولید اطلاعات نادرست با اعتماد به نفس بالا!

توهم (Hallucination) در مدل‌های زبانی به حالتی گفته می‌شود که مدل، اطلاعات نادرست یا ساختگی تولید می‌کند، در حالی که با اطمینان و لحن قانع‌کننده آن را ارائه می‌دهد. این پدیده می‌تواند شامل اشتباهات تاریخی، علمی، یا حتی ساختن منابع و نقل‌قول‌های جعلی باشد.

تصور کنید از یک مدل زبانی می‌پرسید: «چه کسی اولین بار نظریه نسبیت را مطرح کرد؟» و پاسخ می‌دهد: «ایزاک نیوتن در سال ۱۸۷۹». این پاسخ نه‌تنها اشتباه است (چون نظریه نسبیت متعلق به آلبرت اینشتین است)، بلکه با لحنی قاطع ارائه می‌شود که می‌تواند مخاطب را گمراه کند.

چرا مدل‌ها دچار توهم می‌شوند؟
🔘 هدف آموزشی مدل‌ها: پیش‌بینی واژه‌ی بعدی
- مدل‌های زبانی بر اساس احتمال واژه‌ی بعدی آموزش می‌بینند، نه بر اساس صحت اطلاعات.
- این یعنی مدل‌ها بیشتر «حدس» می‌زنند تا «اطلاع» داشته باشند.
🔘نبود داده‌های منفی یا بازخورد اصلاحی
- در فرآیند آموزش، مدل‌ها معمولاً فقط با داده‌های مثبت تغذیه می‌شوند.
- اشتباهاتشان اصلاح نمی‌شود مگر در مراحل خاصی مثل fine-tuning یا RLHF.

🔘تشویق به تولید پاسخ‌های روان و کامل
- مدل‌ها برای تولید پاسخ‌هایی جذاب و کامل پاداش می‌گیرند، حتی اگر دقیق نباشند.
- ابراز «ندانستن» اغلب امتیاز کمتری دارد.

🔘فشار ارزیابی‌های سطحی
- بسیاری از ارزیابی‌ها فقط دقت زبانی یا شباهت به پاسخ‌های انسانی را می‌سنجند.
- صداقت، فروتنی شناختی، یا توانایی تشخیص عدم قطعیت نادیده گرفته می‌شود.

برای ساخت مدل‌هایی قابل اعتمادتر، باید هم در آموزش و هم در ارزیابی تغییراتی ایجاد شود. برخی راهکارهای کلیدی عبارت‌اند از:
🟣 تشویق به ابراز عدم قطعیت
- مدل‌ها باید یاد بگیرند که گاهی «نمی‌دانم» گفتن بهتر از حدس زدن است.
- این رفتار باید در ارزیابی‌ها پاداش داده شود.

🟣 استفاده از داده‌های منفی در آموزش
- آموزش مدل‌ها با نمونه‌هایی از پاسخ‌های اشتباه و اصلاح‌شده، به آن‌ها کمک می‌کند تا بهتر تشخیص دهند چه چیزی نادرست است.

🟣 ارزیابی چندلایه
- علاوه بر دقت زبانی، باید معیارهایی مثل «درستی اطلاعات»، «منبع‌پذیری» و «فروتنی شناختی» نیز سنجیده شوند.

🟣 افزایش شفافیت مدل‌ها
- مدل‌ها باید بتوانند توضیح دهند که چرا یک پاسخ را داده‌اند یا از کجا آن را گرفته‌اند.

🔗 در اینجا می‌توانید بیشتر بخوانید.
___________

⁉️ برای بحث و تبادل نظر فنی در مورد این پست، نظرات خود را با ما در قسمت کامنت‌ها به اشتراک بگذارید.

#نگار_قاسمی (لینکدین)

کانال تلگرام:
@SoftwarePhilosophy

________