OpenAI обнаружила, что даже лучшие модели ИИ часто дают неверные ответы

Недавнее исследование OpenAI выявило серьезные недостатки в точности её ИИ-моделей. На новом бенчмарке SimpleQA, разработанном для оценки качества ответов, новейшая модель o1-preview показала успех лишь в 42,7% случаев, демонстрируя, что даже самые продвинутые языковые модели часто дают неправильные ответы. Конкурирующие модели, такие как Claude-3.5-sonnet от Anthropic, показали ещё более низкую точность — 28,9%.

Проблема “галлюцинаций”, когда ИИ уверенно выдаёт ложную информацию, давно беспокоит специалистов. Несмотря на это, технологии на основе ИИ активно используются в образовании, здравоохранении и даже правоохранительных органах. Например, ИИ, разработанный на базе технологий OpenAI, недавно был пойман на регулярных ошибках при транскрипции общения с пациентами в больницах, что вызывает серьёзные опасения по поводу распространения дезинформации.

Эти результаты подтверждают, что современные языковые модели не могут быть полностью достоверными.