Интересно, что я уже начинаю выступать прям ИИ-скептиком, при этом ежедневно использую «ИИ» в ежедневных задачах 😅
Наверное, я больше про то, чтобы мы понимали текущие ограничения и слепо не доверяли всей информации, которые генерят текстовые генеративные модели.
Суть претензии: группа исследователей (детальнее можно почитать тут) проанализировала 217 материалов из базы Retraction Watch — ресурса, который чекает статьи, отозванные или имеющие проблемы с достоверностью.
Эти статьи попросили оценить GPT 4o-mini по разным методологиям. Чтобы минимизировать искажение, к каждой статье применили 30 промптов и на выходе получили исследование из 6 510 оценок.
Результаты получились прям самый сок! 🙈
— В 100% случаев (6510 оценок) ChatGPT не упомянул статус отозванных статей при оценке их качества
— 73% отозванных статей получили высокие оценки (3-4 звезды), включая категории «мирового уровня»
— При проверке 61 конкретного утверждения из отозванных статей, ChatGPT в 67% случаев (410 из 610 ответов) назвал их правдивыми или частично правдивыми
— Модель проявила осторожность только к темам COVID-19, не называя связанные утверждения истинными в 100% случаев ¯\_(ツ)_/¯
В последнем выводе прям сразу видно вмешательство человека в систему — таким образом можно не ожидать объективности от разработчиков той или иной LLM, в каждой из них будет продвигаться «политика партии» и особое мнение.
Справедливости ради нужно отметить, что часто научные журналы и университеты не помечают ранее опубликованные статьи и диссертации как отозванные, поэтому и человек может легко ошибиться.
Когда в очередной раз LLM-ка выдаст вам список несуществующих книг, авторов и выдуманных фактов, знайте, что на сервере в этот момент происходит примерно следующее: см.видео 😏
Прожарка от Димы Гарника