LLM-агенты для трейдинга в основном проваливаются, когда тесты на фондовом рынке становятся длинными, широкими и честными.

Авторы создали FINSABER - более строгую систему оценки, которая проверяет LLM-трейдинг примерно на 20-летнем периоде, на большем числе акций и с лучшей защитой от cherry-picking, то есть подбора удобных результатов.

Они сравнили LLM-системы вроде FinMem и FinAgent с простыми базовыми стратегиями: Buy and Hold, rule-based trading, forecasting models и reinforcement learning методами.

Главный результат: LLM-стратегии могут выглядеть хорошо в узких тестах, но обычно не обгоняют простые рыночные стратегии, когда тест становится длиннее и честнее.

Также в работе показано, что такие LLM плохо ведут себя в разных рыночных условиях: они слишком осторожны, когда акции растут, и слишком рискованны, когда рынок падает.

То есть современные LLM могут понимать финансовые тексты, но это не значит, что они умеют надёжно угадывать движение фондового рынка.

Link: arxiv.org/abs/2505.07078v5

Title: “Can LLM-based Financial Investing Strategies Outperform the Market in Long Run?”