Почему ты всё ещё торгуешь лучше ChatGPT

Или кликбейт против крипты

Не так давно повсюду пестрили новости про «эксперимент», в котором проводилось соревнование между LLM-моделями за звание самой эффективной в трейдинге. Суть проста: шесть моделей получили по $10 000 и за ними наблюдали в реальном времени, как они собственно торгуют криптовалютой.

В различных тг-каналах и жёлтых СМИ мелькали сравнения этих моделей по доходности и выводы в духе: «крипта — непредсказуемый скам, раз даже ChatGPT не может верно предсказывать цену», или «ИИ в принципе не научится торговать».

Но почему такие выводы некорректны?

— Оценка эффективности требует массивной валидации. Чтобы сравнивать модели в трейдинге, нужны десятки тысяч прогонов на разных выборках и в разных периодах (бэктесты и форвард-тесты). Один «пробег» в реальном времени — это анекдотическая выборка, а не доказательство.

— LLM — не торговые модели. Большие языковые модели работают с текстами и вероятностными предсказаниями слов. Профессиональный алготрейдинг использует специализированные модели и инфраструктуру, анализирующие поток рыночных данных и реагирующие за миллисекунды. Это разные классы задач. Чуть подробнее про LLM можете посмотреть в новом интервью у Дудя* с Дороничевым — тот самый чел, который ушёл из Гугла, чтобы сначала строить ИИ для выявления NFT-подделок, а затем сделал пивот в сторону создания лекарств на базе тех же ИИ-разработок.

— Леверидж 20× и сверхволатильность искажают картину. При таком плече метрика результата сильнее отражает краткосрочную удачу и шум, чем качество «стратегии». Делать взвешенные выводы в таких условиях нельзя.

Если уж подходить к эксперименту столь упрощённо, то логичнее было бы дать «моделям» угадывать орла и решку и на этой основе «рейтинговать» их — научной ценности было бы ровно столько же.

Вывод здесь простой, но всегда актуальный: не верьте жёлтухе из топора, всегда проверяйте источники и занимайтесь самообразованием.

И по традиции, спасибо, что читаете, поддерживаете лайками, репостами и комментариями.

* Признан в РФ иноагентом