В рамках исследования Saturn протестировали 18 ИИ-моделей и получили более 10 тысяч ответов на финансовые вопросы. В среднем ошибки обнаружили в 57% ответов, а на сложных вопросах доля ошибок у отдельных моделей доходила до 99%.
Нейросети путались в расчётах, не учитывали актуальные налоговые правила и ссылались на несуществующие нормы. В одном из случаев ошибка Claude Haiku в налоговом вопросе потенциально могла привести к дополнительным выплатам в размере £17 500.
Лучший результат в исследовании показал Claude Opus 5 в режиме рассуждений, однако и он ошибался в 39% ответов.
Языковая модель не сверяется с кодексом и не считает на калькуляторе: она выдаёт наиболее вероятный текст. В финансах это особенно опасно, потому что правила меняются каждый год, нормы разных стран легко перепутать, а ошибка на первом шаге расчёта незаметно множится к итоговой цифре, — прокомментировал Алексей Мячин, руководитель направления AI-продуктов АНО «РТИИ»
При этом отказываться от ИИ из-за таких результатов не нужно. Важно правильно распределять роли.
Алексей Мячин выделил несколько простых правил, которые помогут снизить риск ошибки:
1. Указывайте страну, год и свою ситуацию.
2. Требуйте ссылку на конкретную норму.
3. Пересчитывайте цифры самостоятельно.
4. Спросите о возможных ошибках.
5. Чем выше цена ошибки, тем важнее проверка специалистом.
Уверенный тон нейросети ничего не говорит о точности её ответа.
ИИ можно использовать в финансовых задачах, но его выводы важно проверять, особенно когда ошибка может стоить реальных денег.
💙 АНО РТИИ в MAX