📍سناریو پژوهشی:

یک تیم پژوهشی روی یک داروی ضدافسردگی جدید کارآزمایی بالینی انجام میدن. نتیجه نهایی روی کل جامعه بیماران نشون میده که دارو هیچ تفاوتی با دارونما (پلاسبو) نداره و P=0.45 میشه؛ یعنی دارو در عمل کاملاً بی‌اثر بوده. اما تیم پژوهشی ناامید نمیشه؛ داده‌ها رو می‌گیرن و شروع می‌کنن به خرد کردن جامعه به ۴۰ تا زیرگروه مختلف بر اساس سن، جنسیت، شغل، عادات خواب و حتی وضعیت تاهل!
بالاخره توی زیرگروه شماره ۳۷، یعنی «زنان ۵۰ تا ۵۵ سال شاغل در شیفت شب»، عدد P=0.01 درمیاد. اون‌ها هم کل شکست اولیه دارو رو سانسور می‌کنن و تیتر مقاله رو می‌زنن: «اثبات اثربخشی داروی جدید در درمان افسردگی زنان شاغل در شیفت شب!»

📋 چرا این کار از ریشه اشتباه و فریبنده است؟
وقتی سطح معناداری آماری روی ۵ درصد (0.05) تنظیم میشه، یعنی شما پذیرفتید که حتی اگه دارو کاملاً بی‌اثر باشه، در ۵ درصد موارد (۱ بار از هر ۲۰ بار آزمون) ممکنه صرفاً بر حسب شانس و تصادف محض، نتیجه معنادار نشون داده بشه (خطای نوع اول یا مثبت کاذب).
حالا طبق قانون احتمالات، وقتی شما ۴۰ تا آزمون آماری مستقل روی داده‌های یکسان اجرا می‌کنید، با ۸۷ درصد احتمال، شما یک نتیجه کاملاً پوچ و تصادفی رو به عنوان یک «کشف علمی جدید» پیدا می‌کنید، در حالی که در دنیای واقعی چنین اثری اصلاً وجود خارجی نداره!

📜 رونالد کوز (برنده نوبل اقتصاد):
«اگه داده‌ها رو به اندازه کافی شکنجه بدی، بالاخره به هر چیزی که بخوای اعتراف می‌کنن!»
(If you torture the data long enough, it will confess to anything)

ژورنال‌های معتبر دنیا به تحلیل‌های زیرگروهی پیش‌بینی‌نشده (Post-hoc Subgroup Analysis) هیچ اعتباری برای اثبات درمان نمیدن و اون‌ها رو فقط در حد یک «ایده و فرضیه خام برای پروژه‌های آینده» در نظر می‌گیرن.

📌 روابط عمومی کمیته تحقیقات و فناوری دانشجویی دانشگاه علوم پزشکی اردبیل

🆔 @ARUMS_SRC