به این اتفاق در مدل‌های هوش مصنوعی Hallucination یا هالوسینیشن گفته می‌شود.
هالوسینیشن یعنی مدل، اطلاعاتی تولید کند که ظاهراً منطقی و معتبر هستند، اما در واقعیت پایه و منبع درستی ندارند.
مثلاً ممکن است یک مقاله علمی غیرواقعی معرفی کند، آماری را از خودش بسازد، نام یک منبع را اشتباه بگوید یا درباره موضوعی که نمی‌داند با اطمینان پاسخ بدهد.
نکته مهم این است که مدل‌های زبانی «حقیقت» را مثل انسان بررسی نمی‌کنند؛ آن‌ها بر اساس الگوهای زبانی، محتمل‌ترین پاسخ بعدی را تولید می‌کنند. به همین دلیل، حتی یک پاسخ بسیار روان و قانع‌کننده هم لزوماً درست نیست.
برای کاهش هالوسینیشن می‌توانید:
• از مدل بخواهید برای ادعاهای مهم منبع ارائه کند.
• اطلاعات حساس و مهم را با منابع معتبر راستی‌آزمایی کنید.
• سؤال را دقیق و همراه با جزئیات مطرح کنید.
• اگر مدل مطمئن نیست، از آن بخواهید صریحاً بگوید «اطمینان ندارم».
• برای موضوعات تخصصی، متن یا منبع معتبر را در اختیار مدل قرار دهید و از آن بخواهید فقط بر اساس همان اطلاعات پاسخ دهد.
• پاسخ‌های شامل عدد، تاریخ، نام افراد، مقاله، قانون یا آمار را دوباره بررسی کنید.
پس یک قانون مهم را همیشه به خاطر داشته باشید:
هوش مصنوعی می‌تواند بسیار قانع‌کننده باشد، بدون اینکه الزاماً درست باشد.
اگر از ChatGPT، Claude یا سایر ابزارهای هوش مصنوعی استفاده می‌کنید، مهارت اصلی فقط «پرامپت‌نویسی» نیست؛
توانایی تشخیص اینکه چه زمانی باید به جواب AI شک کنیم هم یک مهارت ضروری است.