Когда досрочная «победа» в исследовании - это не всегда хорошо? 🕵️‍♂️

Вы читаете заголовок: «Клиническое исследование нового препарата досрочно прекращено из-за очевидной эффективности!». 
Звучит как успешный успех!

Но после этого поста вы будете аккуратнее относится к таким статьям, почему?

Причина в предвзятости, связанной с досрочным прекращением исследования (EARLY STOPPING BIAS). 

Что это такое❓

Early Stopping Bias - это систематическое искажение оценки эффекта лечения, которое возникает, когда исследование останавливают раньше запланированного срока по результатам промежуточного анализа. 

Остановить могут по трем причинам:

1️⃣ По эффективности (benefit)
Лечение работает „слишком хорошо“.

2️⃣ По бесперспективности (futility) 
Стало ясно, что клинически значимого эффекта можно не ждать.

3️⃣ По безопасности (safety)
Обнаружены неприемлемые побочные эффекты или их слишком много (вред>пользы). 

Исследования, прекращенные досрочно (усеченные исследования/truncated trials) из-за положительного эффекта от лечения, чаще всего подверженны предвзятости.
Такие исследования рискуют преувеличить эффект от лечения, особенно когда общее число событий невелико.

Почему эффект может быть преувеличен? ❓

Давайте рассмотрим на легком примере: 

Представьте, вы планируете подбросить монетку 10 раз, чтобы проверить, честная ли она. После 5 бросков у вас выпало 4 орла и 1 решка.

Вы восклицаете: «Монетка смазана нечистотами с одной стороны и смещена в сторону орла! Нечестно!» и прекращаете эксперимент.

Проблема: вы поймали случайную положительную флуктуацию. 

Если бы вы завершили все 10 запланированных бросков, результат мог бы усредниться до 6 орлов и 4 решек, что уже гораздо ближе к правде, а вы остановились на точеных пиках случайности.

Похожее происходит и в исследованиях ✏️

🔹 Эффект оценивается по «ранним» данным
Лечение может показывать максимальный эффект на ранних этапах (например, у наиболее чувствительной подгруппы), который со временем ослабевает.

🔹 Недооценка долгосрочных рисков
Остановив исследование, мы можем не успеть увидеть отсроченные побочные эффекты или отдаленное снижение эффективности.

🔹 Нарушение планирования
Остановка меняет заранее рассчитанный размер выборки, что влияет на мощность исследования и точность оценки. 
Эффект выглядит более впечатляющим, а доверительные интервалы шире.

А вот вам интересная информация, которую я нашел:
2/3 протоколов РКИ не предусматривали промежуточный анализ, правила прекращения исследования или комитеты по мониторингу безопасности данных. 
Большинство РКИ, прекращенных из-за ранней пользы или неэффективности, были остановлены без заранее определенного механизма 🤔

Напрашивается лишь один верный вывод: досрочное прекращение исследования это - не гарантия прорыва и успешного успеха, а повод для более тщательной критической оценки.

Ссылки: ЖКвТГ | ЖКвВК | EBMbase | YouTube