بک تست همیشه جواب نیست

برای استراتژی‌های HFT مثل آربیتراژ یا مارکت‌میکینگ، گرفتن بک‌تست‌های صرفاً تاریخی روی مدل معمولاً گمراه‌کننده است. بخشی از ناکارایی‌های بازار که در داده‌های تاریخی مشاهده می‌کنیم ناشی از حضور سایر بازیگران بازار است؛ وقتی خودمان وارد معامله می‌شویم، خودِ اقدام ما هم بر قیمت تاثیر می‌گذارد و آن ناکارایی ممکن است دیگر وجود نداشته باشد.


مثال ترافیک روشن‌کننده است: اگر ساعت ۲۰:۰۰ بفهمیم اتوبان همت خلوت است، همین اطلاع در ساعت ۲۰:۰۱ باعث می‌شود تعداد زیادی از راننده‌ها مسیرشان را تغییر دهند و اتوبان شلوغ شود. وقتی خودمان قرار است به سمت اتوبان برویم، رفتار واقعی ما (به‌عنوان یک عامل مؤثر) با صرفاً «رصد کردن» وضعیت تفاوت دارد. دقیقاً به همین شکل، بک‌تست تاریخیِ ساده نمی‌تواند تاثیر متقابل ما با بازار را به‌درستی شبیه‌سازی کند — بنابراین نتایج بک‌تست ممکن است به‌طور قابل‌توجهی با عملکرد واقعی تفاوت داشته باشند.

به همین دلیل بهترین رویکرد، استفاده از شبیه‌سازی‌هایی است که تعاملات واقعی میان بازیگران بازار و اثرات بازارپسندی (market impact)، صف‌ها و latency را مدل‌سازی کنند. چنین شبیه‌سازی‌هایی به‌جای تولید یک «نتیجهٔ قطعی»، دید دقیق‌تری از رفتار احتمالی استراتژی در شرایط واقعی فراهم می‌کنند.