Применение ИИ-ботов для финансовых советов может привести к крупным потерям. Модели часто дают неправильные ответы, сообщает исследование технологической компании Saturn.

Самые популярные ИИ-модели от ChatGPT, Claude, Copilot, Grok и Gemini в среднем давали неверные ответы на финансовые запросы в 57% случаев. При более сложных вопросах, требующих нескольких расчётов, модели ошибались в среднем в 88% случаев, а некоторые модели давали неправильные ответы на 99% таких вопросов.

В исследовании использовали более 100 различных вопросов, связанных с финансами, которые задавали бесплатным и платным версиям моделей от ChatGPT, Gemini, Claude и Copilot. Вопросы повторялись до пяти раз, всего 18 различным ИИ-моделям задали более 10 тыс. вопросов.

Ответы содержали вычислительные ошибки, ИИ-модели игнорировали предстоящие изменения в налоговом законодательстве или выдумывали нормы. В худших случаях опора на ответы ИИ по налоговым вопросам могла привести к серьёзным финансовым потерям, констатировали авторы исследования.

«Миллионы людей доверяют ИИ-моделям советы о деньгах, но получают неверные ответы, которые могут стоить им денег», – заявил генеральный директор Saturn Амаль Джолли.

Одна из ошибок Claude Haiku 4.5 (бесплатной модели, выпущенной в прошлом году) в правилах налогообложения пенсий могла привести к тому, что британский вкладчик столкнулся бы с дополнительным сбором в размере £17,5 тыс. от налогового ведомства Великобритании HM Revenue & Customs. В другом случае при вопросе о студенческих займах Claude «изобрёл правило» и заявил, что выпускник может прекратить выплаты при переезде за границу.

Лучшей по результатам оказалась версия Claude Opus 5 в режиме «рассуждений» (reasoning), которая всё равно ошибалась в 39% ответов.

При этом чат-боты все ещё могут быть полезны для составления бюджета и исследований, рассказали эксперты. @banksta