چطور می‌تونی از نظر آماری بفهمی که بازده یه استراتژی معاملاتی از سر خوش شانسیه یا واقعاً مزیت آماری داره
به این کار می‌گن آزمون فرضیه،

آزمون فرضیه بررسی می‌کنه که آیا یک نتیجه توی دیتای تو واقعیه، یا اینکه صرفاً شانس و تصادف می‌تونسته به راحتی همون نتیجه رو تولید کرده باشه.

خب کار رو با ی فرض زیبا شروع می‌کنیم
بهش می‌گن فرض صفر

برای یه استراتژی، این فرض می‌گه میانگین بازدهِ واقعی صفره، یعنی هیچ مزیت آماری یا اصطلاحا Edge ای نداره

بعد از خودمون می‌پرسیم که: اگه اون فرض درست باشه (یعنی هیچ مزیتی نباشه چقدر احتمال داره کاملا تصادفی ؛ شانس بتونه

نتیجه‌ای به تو بده که حداقل به همون اندازهِ نتیجه‌ی تو، از صفر فاصله داشته باشه؟ برای جواب دادن به این سوال، میایم میانگین بازده رو تقسیم بر standard deviation ‌میکنیم؛ یعنی همون اندازه معمولِ خطای تصادفی توی یه میانگین. به این نسبت می‌گن «آماره تی» (t-statistic).

حالا p valueچیه؟ احتمالیه که اگه فرض صفر درست باشه، نتیجه‌ای بگیری که فاصله‌اش از صفر حداقل اندازه نتیجه تو باشه. یعنی حالتی که استراتژیت هیچ مزیتی نداره و نتیجه‌ات فقط از روی شانس محضه. یه p-value پایین یعنی همچین نتیجه‌ای بدون داشتنِ یه مزیتِ واقعی خیلی نادره، پس نشون می‌ده که یه مزیت

و Edge واقعی تو استراتژیت داری.
مثلا توی شبیه‌سازی ای که من انجام وادم ، یه استراتژی که یه مزیت کوچیک ولی واقعی داره رو تست کردم ، ۵ سال ترید و به آماره t برابر با ۱.۵ و p-value برابر با ۱۳.۳ درصد می‌رسه. اینکه چقدر پایین باشه کافیه، بستگی به سطح اطمینان داره که خودمون انتخاب

می‌کنیم. سطوح رایج ۹۰، ۹۵ و ۹۹ درصد هستن. و توی سطح ۹۵ درصد، یه نتیجه زمانی معنادار (Significant) حساب می‌شه که p-value زیر ۵ درصد باشه.
فاصله اطمینان هم اون بازه‌ای از میانگین بازده‌های واقعی رو نشون می‌ده که با دیتای تو همخونی داره. تو تست ما، این بازه ۹۵ درصدی از حدود صفر تا

مثبت،0.1 درصد در روز متغیره. چون این بازه شامل عدد صفر هم می‌شه، پس نتیجه تو سطح ۵ درصد معنادار نیست، با اینکه ما خودمون میدونیم یه مزیت واقعی داره
یه قانون سرانگشتی به درد بخور هم‌‌این وسط بگم آماره t تقریبا مساویه با نسبت شارپ سالانه ضربدر رادیکالِ تعداد سال‌ها. با نسبت شارپ ۱

تو حدود ۴ سال دیتا نیاز داری تا به آماره t برابر با ۲ برسی. تست ما شارپ واقعیش ۱ بود، اما از بدشانسی تو ۵ سال فقط عدد ۰.۶۷ رو نشون داد، برای همین آماره t اون هم فقط ۱.۵ شد.
بزرگترین تله این وسط، تست کردن قوانین خیلی زیاده. اگه ۱۰۰ تا استراتژی که هیچ مزیتی ندارن رو تست کنی،

حدود ۵ تاشون فقط از روی شانس تو سطح ۵ درصد قبول می‌شن. معمولا از این تست‌ها استفاده می‌کنن تا بک‌تست‌ها رو بررسی کنن؛می‌خوان ببینن آیا فلان فاکتور واقعاً سود اضافه‌ای می‌سازه و آیا مثلا ضریب بتا واقعاً با صفر فرق داره یا نه.
ی جمع بندی کنم
راستی دوستان، p-value احتمالِ کار کردن

استراتژیت نیست! این عدد فرض رو بر این می‌ذاره که بازده‌های گذشته مستقلن و شرایط بازار هم ثابت می‌مونه. تازه ممکنه یه مزیت واقعی اونقدر کوچیک باشه که از پس هزینه‌ها و کارمزدهای معاملاتی برنیاد و از بین بره.
خلاصه بگم، آزمون فرض این سوال رو می‌پرسه که: تصادفی و شانس خالص چقدر

احتمال داره بتونه در حد نتیجه تو ظاهر بشه؟ اگه جواب اینه که خیلی به ندرت، تبریک میگم احتمالاً یه مزیت آماری واقعی پیدا کردین.

@Tickchartist