Первое исследование про новый лекарственный препарат всегда самое-самое красивое

Возможно, уже знакомая вам история.

Выходит первое исследование, эффект огромный 🔥 Соцсети горят, конференции полыхают. Все обсуждают революцию)

Но через несколько лет выходят новые исследования, и эффект почему-то становится всё меньше и меньше.

У этой штуки даже есть название — Proteus phenomenon или decline effect.

И одна из причин, почему так получается: первое исследование обычно содержит в себе небольшую выборку пациентов.

А из множества вот этих маленьких исследований на небольшой выборке быстрее всего публикуются те, где получился яркий, классный результат.

Причём исследования с положительными результатами вообще будут публиковаться быстрее и больше отрицательных. [Помним про такую штуку, как publication bias].

А уже потом подтягиваются более крупные исследования с более скромными или даже отсутствующими эффектами.

Ну и есть, кстати, одна проблема.

Если мы напишем метаанализ в тот момент, когда вышло только то яркое маленькое исследование, то мы получим искажённую картину.

Потому что отрицательные исследования, может быть, уже и существуют в природе, просто мы пока про них не знаем.