👁🗨 واقعاً چه خبره؟
راستش تنها هدف مدل، پیشبینی کلمه بعدیه.
«حقیقت» اصلاً توی معادله نیست.
اگه یه کلمه غلط بیشتر با جمله جور باشه، احتمال انتخابش بالاتر میره.
اینجوری توهم تبدیل به یه معامله اجتنابناپذیر میشه:
هرچی متن روان تر باشه و به متن انسان شباهت بیشتری داشته باشه، ریسک توهم بالاتر میره.
پس باید روش آموزش عوض بشه.
Discussion — The Heart of the Matter
🪝 So what’s really going on?
The model’s only goal is to predict the next word.
“Truth” isn’t part of the equation.
If a wrong word fits better into a sentence, probability pushes the model there.
This reframes hallucination as a trade-off:
If you want smooth, human-like text, hallucination risk increases.
If you want pure factuality, you’d need a different training paradigm.
🔰 @scopeofai | #papers
