Самые популярные ИИ-модели, в частности, ChatGPT и Claude, в 57% случаев дают неверные ответы на финансовые вопросы. На сложных запросах доля ошибок доходит до 88%, а в самых запутанных сценариях — до 99% случаев, говорится в исследовании финтех-компании Saturn.
Учёные протестировали 18 коммерческих моделей, среди которых ChatGPT, Claude, Gemini, Grok и Copilot. Им задали больше 10 тысяч вопросов о налогах, кредитах, ипотеке, пенсионных накоплениях, сбережениях и займах. Каждый вопрос отправляли по нескольку раз, чтобы проверить, насколько стабильны ответы.
Ошибки происходили не только на этапе подсчётов. Модели упускали важные условия, опирались на устаревшие налоговые правила и ссылались на нормы, которых не существует. При этом ответы звучали настолько уверенно, что их легко принять за консультацию специалиста.
Платная подписка ситуацию почти не меняет: бесплатные версии ошибались в 63% случаев, платные в 49%. Даже лучшая из проверенных моделей ошибалась примерно в четырёх случаях из десяти. При этом доверие пользователей к финансовым советам от нейросетей растёт.
А вы доверяете нейросетям вопросы о финансах?
👍 — да, но перепроверяю
👀 — в таких вопросах доверяю только себе
Телеграм | ВКонтакте | Макс