Апокалипсис невоспроизводимости

Проблема воспроизводимости в социологии, психологии и биологии хорошо известна, но масштабы все равно впечатляют. Ученые из Reproducibility Project: Cancer Biology решили воспроизвести 193 доклинических эксперимента из 53 статей. Удалось воспроизвести 50 экспериментов из 23 статей. Причины неудач:
- недостаточно данных для воспроизведения
- неадекватное описание эксперимента
- недоступны реагенты
- авторы не помогли с пояснениями

В воcпроизведенных экспериментах в 92% случаев размер эффекта был меньше, чем в оригинале, в среднем размер эффекта был меньше на 85%.
Несмотря на удручающий результат, авторы не унывают. Именно так и развивается наука. В частности, благодаря стараниям этой группы ситуация уже улучшается: раздел Methods в журналах стал больше, прозрачность и открытость повышаются. Важно, чтобы отношение к доклиническим исследованиям становилось таким же строгим, как к клиническим: нормой должна стать предварительная публикация и регистрация протокола (с одновременным обязательством журнала опубликовать исследование независимо от результата), ослепление и рандомизация, использование релевантных контрольных точек.

Некачественное проведение доклинических исследований — одна из причин высокого уровня неуспеха лекарств в клинических исследованиях. Кроме того, проведение некачественных исследований неэтично по отношению к животным, потому что получается, что они страдали зря.

На первый взгляд парадоксально, но, на мой взгляд в академии ситуация с невоспроизводимостью (и обманом) обстоит хуже, чем в индустрии. У ученых в институтах частая мотивация — не выяснить, работает ли продукт на самом деле и закрыть бесперспективный проект, а продолжить получать гранты и окучивать тему, которая приносит хорошие публикации. Если частная компания продвинет в клинические исследования неработающий продукт, она просто потеряет кучу денег и времени.

[это повтор поста из моего фб от 2021 г.]