Насколько я знаю (но может знаю неправильно), в аналитике данных после А/В-тестов (по сути это РКИ) проводят сегментацию, что найти тех, на кого вмешательство было эффективно. У этой идеи есть здравое рассуждение - хочется получить как можно больше информации из данных. Но здраво ли его используют и интерпретируют результаты в медицинских исследованиях? 🤔
Начнем с общих понятий.
Когда планируется исследование, то многим (исследователям, спонсорам, пациентам) хочется знать как быстро его получится провести. Это зависит от многих факторов: количество центров, количество пациентов, длительность наблюдения, скорость достижения первичной конечной точки и т.п. И немало внимания концентрируется на количестве пациентов.
И сейчас это показатель "Размер выборки" (Sample size) - количество участников в клиническом исследовании, которое обеспечивает надежный/достоверный ответ (об это сегодня не говорим) на поставленные вопросы [1]. 🤘
До ее расчета нужно определиться с гипотезами: нулевой и альтернативной (что это подробнее здесь и здесь и немного здесь). Представим, что мы это уже сделали (и даже согласны оценивать гипотезы 🫣).
Так же важно понять какой минимальный размер эффекта (effect size/minimal detectable effect size) мы планируем обнаружить (представим, что уже определили на основе своих специальных знаний 👨🎓).
❗️И тут входит понятие "Мощность" (Power) - вероятность верно отклонить нулевую гипотезу, если альтернативная о размере эффекта верна (грубо).❗️ Чаще всего ее устанавливают на уровне 80-90% и получают в расчетах минимальный размер выборки (и набирают ее же + мб Dop out rate).
Важно уточнение, что анализ мощности/расчет размера выборки имеет смысл только при планировании исследования, чтобы решить проблемы затрат (времени, финансов, участников) и контроля ошибок I и II рода (скорее быть уверенным в их уровне). 🫡
После получения данных мы не можем быть уверены в истинности результата, а значит и в истинности мощности теста (как я понял, это называют наблюдаемой мощностью (Observed power)) [2, 3].
А теперь загадка от Жака Фреско. Что будет, если выборку, набранную по определенному расчету мощности, разделить на подгруппы?
5, 4, 3, 2, 1… 🫥
Мощность снизится! А еще потеряется контроль за ошибками, ведь поменяется и размер эффекта.
А это происходит постоянно в subgroup analysis и post hoc analysis. А самое забавное, что это представляют на конференциях, а затем все повторяют с фразами: "Важные данные", "Это успех", "Нашли наконец-то группу, кому поможет максимально" и т.д. 🤯
📍Важно, что для таких выводов сначала нужно прочитать полный текст (что было, что и почему сделано, почему и как сделали этот анализ, сколько пациентов осталось, насколько данные результаты совпадают с литературой и т.д.).
📍Еще нужно разобраться как был получен такой результат (взаимодействия, коррекции, гетерогенность, интерпретация forrest plot и другие сложные статистические штуки, которые врачи не могут
📍Не говоря уже о проблеме тестирования гипотез (как глобально, так и множественного).
Что делать?
🔹Разбираться. Каждый subgroup или post hoc анализ - повод разобрать более внимательно: новое исследование, изучение имеющейся литературы, мета-анализ.
🔹Не делать громких выводов (
🔹Продумать и/или изучить критерии гетерогенности, чтобы давать более аккуратную интерпретацию.
🔹Подвергать критике исследования, про которые вам рассказывают.
Мои слова тоже нужно подвергать критике 🤫
@ebm_base