🍷 Почему ИИ иногда врёт с умным видом

OpenAI объяснила, откуда берутся «уверенные ошибки» в ответах моделей. Начинается с обучения на огромных массивах текста, где нет меток «правда» или «ложь». Модель учится писать грамотно, но редкие факты для неё как угадайка — проще сказать уверенно «10 сентября», чем честно «не знаю».

Постобучение снижает количество ошибок, но полностью их не убирает. Причина в системе оценки: сейчас модели вознаграждают за точные ответы, а честное признание в незнании даёт ноль очков. Поэтому ИИ выгоднее галлюцинировать и иногда попадать в цель, чем быть осторожным. Пример из отчёта: GPT-5-Thinking-mini ошибается реже, но в тестах проигрывает старой o4-mini, которая больше угадывает, хотя и чаще врёт.

OpenAI предлагает менять правила — наказывать за уверенные ошибки сильнее, а за «не знаю» начислять частичные баллы. Такой подход должен сделать модели честнее. Пока в GPT-5 ошибок меньше, но проблема ещё не решена.

————————————————
@AI_FutureNow - IT, технологии, нейросети и бизнес