Что посеешь, то и пожнешь: почему новые модели OpenAI галлюцинируют чаще старых

Помните, я как-то упоминал исследование Google DeepMind? Они тогда еще подсветили интересный момент: OpenAI активно использует автоматизацию для исследований в области ИИ. Google напирал на то, что правильное применение автоматизации - это ускорение исследований, а не полное перекладывание на машину цикла обучения моделей. Подход OpenAI они как раз критиковали. Мол, так можно наплодить ошибок.

Вспомним еще пару моментов. В статье DeepSeek про их метод обучения SPCT (когда модель сама себя критикует и учится на этом) тоже отмечались риски: увеличение предвзятости (bias) и галлюцинаций. Логика простая: если в исходных данных была ошибка, то при самообучении количество таких ошибок будет только множиться. А в статье "AI 2027", о которой я также писал, предсказывался сценарий, где OpenBrain, автоматизировав создание ИИ, получил на выходе AI с проблемой рассогласования целей (Missalignment).

К чему я это все? А к тому, что очень похожую картину мы сейчас наблюдаем с последними моделями от OpenAI - o3 и o4-mini. Их позиционируют как state-of-the-art, особенно в задачах, требующих "рассуждений". Но вот незадача: согласно последним данным, галлюцинируют они чаще, чем их предшественники.

Смотрите сами на результаты внутренних тестов OpenAI на бенчмарке PersonQA (проверка знаний о людях):
- o3: галлюцинирует в 33% случаев.
- o1 и o3-mini (предыдущие "reasoning" модели): 16% и 14.8% соответственно.
- o4-mini: вообще 48%!

То есть, модели, заточенные под агентский ИИ, под задачи, где нужно не просто выдать текст, а "подумать", построить цепочку рассуждений, совершают больше ошибок. Сама OpenAI в своем отчете признает, что пока "требуется больше исследований", чтобы понять, почему так происходит. (Не видят слона в комнате). Одна из гипотез: модели стали делать больше утверждений в целом, и среди них, естественно, растет как число верных, так и число неверных. Подобное также отмечают и исследователи Transluce.

И это огромная проблема.

Чтобы агентский ИИ был реально полезен, количество ошибок нужно не увеличивать, а сокращать. Мы же хотим использовать ИИ для работы в реальном мире, верно? А теперь представьте: вы - обычный айтишник, собрались в отпуск и решили делегировать планирование ИИ-агенту, сказав “Я хочу хорошо отдохнуть в Монако”. А он возьми и сгаллюцинируй: забронировал вам с карты пару мишленовских ресторанов, яхту и отель, на который уйдут все сбережения. Вроде цель "сделать крутой отдых" достигнута, но какой ценой? 🙂

И это еще самое безобидное. Представьте, что такому "галлюцинирующему" агенту доверят более серьезные задачи: управление бизнес-процессами, научные расчеты, решение социальных проблем. Последствия могут быть куда масштабнее. Некоторые исследователи предполагают, что проблема может быть в методах обучения с подкреплением, которые используются для o-серии и могут усиливать проблемы, обычно сглаживаемые на других этапах.

Нам постоянно говорят, что ИИ сделает жизнь лучше, автоматизирует рутину. Но чтобы этого достичь, нельзя бежать впереди паровоза в безумной гонке за AGI. Если ставка делается на самообучение без должного контроля, то количество предвзятостей и галлюцинаций рискует расти в геометрической прогрессии, и человек просто потеряет контроль.

Очень надеюсь, что текущие "сырые" модели - это все же эксперимент, и OpenAI предпримет меры. Хотя, глядя на действия Альтмана, скорее верится в то, что финансовые показатели и хайп вокруг "гонки вооружений" важнее надежности и безопасности.