🇨🇳Китайские исследователи заявили, что нашли причину галлюцинаций в нейросетях.

Китайские исследователи опубликовали статью, в которой указали, что возникновение галлюцинаций можно надежно предсказывать с наличием в нейросетях определенной группы нейронов (Н-нейроны).

Несмотря на то, что такие нейроны составляют не более 0.1% от общего числа, именно с ними связано чрезмерно уступчивое поведение нейросети. Т.е. когда модель не знает ответа, она пытается угодить пользователю.

Исследование показало, что ИИ буквально вынужден врать из-за механизма «сверх-покладистости» (over-compliance), заложенного при обучении: он боится промолчать больше, чем ошибиться, в результате модель начинает выдумывать ответы.

При этом если указанные нейроны удалить, пропадет гибкость и модель начать отвечать «не знаю» на любые сложные вопросы.