Новые ИИ-модели OpenAI чаще допускают галлюцинации в рассуждениях

OpenAI выпустила модели o3 и o4‑mini, которые, вопреки исторической тенденции, галлюцинируют чаще предыдущих (o1, o1‑mini, o3‑mini, GPT‑4o). В тесте PersonQA o3 ошибалась в 33% случаев (ранее ~15%), o4‑mini — в 48%. Независимые проверки выявили выдуманные действия, например, ложный запуск кода на MacBook.

По мнению экспертов, проблема может быть связана с особенностями обучения с подкреплением. Один из возможных путей решения — подключение моделей к веб-поиску, как это уже реализовано в GPT-4o, показавшей высокую точность ответов. OpenAI заявила, что активно работает над снижением числа галлюцинаций.

Мы из будущего