Достаточно интересная статья на Хабре, которая показывает, что глюки нейросетей в современных условиях - норма. И нам с этим жить.

Галлюцинации языковых моделей: от математики обмана к честным ИИ

Говоря о языковых моделях, нередко слышим термин «галлюцинации». Но что это на самом деле? Представьте: модель выдает вам совершенно неверную информацию, но делает это так уверенно, словно сама в это верит. Галлюцинации коварны именно тем, что выглядят вполне достоверно — среди правильных фактов модель вплетает откровенные выдумки, и отличить одно от другого бывает непросто.

https://habr.com/ru/articles/945450