Исследование: ИИ ошибаются в 99% финансовых ответов, связанных со сложными вопросами.

В работе ученые тестировали 18 моделей и задали им более 10 тысяч финансовых вопросов связанных с законодательством различных стран.

Общий процент правильных ответов - 43%. В подавляющем случае - на элементарные вопросы. На сложные вопросы, количество верных ответов - меньше 1%.

В одном из случаев, ответ Claude мог привести к огромному штрафу бизнеса, а ChatGPT выдумывал правила студенческих займов.

Даже Claude Opus 5 не справился - у него 61% верных ответов.