Ebm_base

Заговор статистиков, решивших все усложнить для бедных врачей, которым всего лишь надо защититься😅

Не первый и не последний раз я снова в бане.

Если обсуждать статистические аспекты научных исследований не в статистическом чате, то где тогда?

К сожалению, не успел сделать скрин своих сообщений (теперь их там нет, их просто удалили). Но заметьте, что подобные авторы сами сначала упрекают в то, что обсуждения нет, а затем включают цензуру у себя

И да, ранее я уже попал в бан у них же в IG

Здесь пример разбора симуляций автора данного канала, про которые автор теперь молчит)

Ты слушаешь меня, Нео, или любуешься на женщину в красном платье? Оглянись.

В игру с хайпом можно играть вдвоем)

Ebm_base pinned «Недавно в одном канале была озвучена радикальная позициия "один тест для всего" при сравнении двух групп по количественной переменной. Автор даже показал результаты своих симуляций (правда изображения были сгенерированы ИИ). Я попросил код, на что получил…»

Недавно в одном канале была озвучена радикальная позициия "один тест для всего" при сравнении двух групп по количественной переменной. Автор даже показал результаты своих симуляций (правда изображения были сгенерированы ИИ).
Я попросил код, на что получил ответ "Ну так все входные параметры на слайдах - берите их и подставляйте в симуляцию".

Ну ладно. Я взял эти параметры и провел. Но в отличие от автора я сразу покажу с кодом и своими размышлениями.

Думаю это может быть полезно многим. Комментарии, замечания, мнения приветствуются

@Ebm_base

Кратко, в общем, про ИИ (точнее LLM)
Если вы не представляли как они работают, то это хорошее объяснение

Став папой, я понял, как тяжело мне без папы..

ВСЕ СКАЗАЛИ!

Немного отвлечемся от инструментальных переменных)

Вчера я в двух каналах запустил опросы (Ebm_base и JC Ebm_base). По их результатам (56% и 47% соответственно) можно ли сделать вывод, что статистика - это интересно, но непонятно? Или что 7% людей она неинтересно и непонятна? Кажется, что я натягиваю сову на глобус? Так и есть!

Давайте разберемся, что произошло.

1. Selection bias (или конкретно survivorship bias) [1, 2].
Этот опрос проходили подписчики моего основного канала и канала журнального клуба. Это явно не все врачи, статистики, ученые, исследователи и т.п. Это целевая аудитория (ЦА), которая по каким-то причинам читает данные каналы (нравится подача, темы, личность и т.д.).

2. Sampling bias [3].
В моем канале почти 3900 подписчиков, опрос увидели 319 людей, ответили 100 (причины низких просмотров не обсуждаем). Но почему не каждый просмотревшие ответил? Потому что на опросы отвечают те, кому интересно/любит отвечать на них (или просто отвечает).

3. Non-response bias [4].
Из пунктов 2 и 3 вытекает 3. Люди, которые отвечают и не отвечают на опросы, различаются между собой. Как? Ну для этого надо было собрать хотя бы базовую информацию об этих категориях (пол, возраст, активность в соц сетях, профессия и прочее).

4. Social desirability bias и neutral bias [5, 6].
Люди чаще отвечают социально приемлемые ответы. Ответить, что "неинтересно и непонятно" кажется странным, если ты подписан на канал, подобный моему (можно же отписаться). Проще придерживаться нейтральных ответов.

Думаю, что тут можно ещё найти несколько bias, но основной посыл в том, что опросы в тг-каналах нерепрезентативны совсем. Т.е. не надо экстраполировать результаты со своей ЦА на какую-то общую популяцию (все врачи, все статистики, все студенты, все учёные и т.д. и т.п.). Ваша аудитория подписана на вас, а это уже ее отличает от остальной популяции.

@Ebm_base

Завершился третий сезон открытого онлайн-лектория «Разрушители статистических мифов»!
bioinf.me/stat_myths

За прошедшие три сезона преподаватели трека по биостатистике Института биоинформатики разобрали девять мифов, которые могут увести исследователя совсем не туда!

1 сезон:

🦖 Миф №1: Статистика – наука точная, и в ней нет места мифам | Евгений Бакин

🦖 Миф №2: Доверительные интервалы и p-значения — это то, чем они кажутся | Ольга Мироненко и Максим Кузнецов

🦖 Миф №3: Ненормальное распределение требует ненормальных решений | Матвей Славенко

2 сезон:

🦖 Миф №4: Категорически категорично, или «просто разбей на группы» | Алексей Глазков

🦖 Миф №5: Рандомизация — смешать и не взбалтывать | Артемий Охотин

🦖 Миф №6: Визуализация — это просто красивые графики | Елена Убогоева

3 сезон:

🦖 Миф №7: Автоматизированный выбор многофакторной модели: кто ищет, тот всегда найдет | Евгений Бакин

🦖 Миф №8: Придай нормальности описательной статистике | Алексей Глазков

🦖 Миф №9: Расчёт мощности: лучше поздно, чем никогда | Матвей Славенко

Записи всех лекций доступны:
☁️ на сайте лектория
☁️ на YouTube-канале Института биоинформатики

Будем рады, если вы поделитесь своими впечатлениями в анонимной форме обратной связи. Благодарим вас за активное участие в лектории, до встречи! ❤️

P.S. Мы уже начали готовить кое-что интересное для вас!

✨ Мы в VK | Мы в почте | Мы в Telegram

#bioinf_online #bioinf_education
@bioinformatics_institute

Ebm_base pinned a photo

У МЕНЯ ЕСТЬ ИНСТРУМЕНТ

Давайте представим, что у вас получилось собрать данные реальной клинической практики - real-world data (RWD. Сами вели свою таблицу Excel, ведь они так собираются).

Вы планируете сравнить методы лечения (препарат А против В) по исходу (пациент выписался или умер). Но слышали/знаете, что есть такое явление, как confounding. Он может реализовываться через множество факторов. Но предположение о модели ведёт к тому, что факторов, которые надо включить, очень много (а мб каких-то нет в данных - скрытые). Что делать?

Можно присмотреться к методу из causal inference, который называется инструментальная переменная (instrumental variable, IV) [1, 2].

В чем суть?
Мы подбираем такую переменную/фактор (инструмент), которая:
- связана с назначением лечения (релевантность)
- не связана с исходом (кроме связи через назначение лечения)
- не связана с другими (особенно скрытыми) факторами, которые влияют на исход (экзогенность) [1, 2, 3]

Визуально это можно отобразить на DAG (рис)

Если эти предположения не нарушены (и основные для оценки ATE), то мы можем использовать выбранный показатель в качестве инструментальной переменной. А дальше с помощью двухэтапных методов (есть и другие подходы) это учитываем в окончательной модели [2].

Что нам это даёт?
Мы получаем оценку LATE-IV, т.е. локальный средний эффект лечения среди "послушных" (об этом разделении я расскажу в других постах) [4]. 

LATE-IV = 𝔼[Y|T = 1, U = c] - 𝔼[Y|T = 0, U = c]

где: 
𝔼 - мат ожидание
Y - исход
T - лечение (1 - препарат А, 0 - препарат В)
U - фиктивная переменная "послушания" (c - "послушные")

К сожалению, если нам недоступна оценка ATE (а часто это так), то оценка LATE - это оправданный шаг (но это меняет эстиманд - мы оцениваем эффект у тех, кто следовал назначенному лечению). Может показаться, что это похоже на per protocol анализ (об этом и применение IV в РКИ я тоже расскажу в следующих постах) [4].

Как пример, можно ознакомиться с этой статьей. В ней оценивали назначение Варениклина на смертность от всех причин через 2 года после назначения терапии. В качестве инструмента использовали склонность врача назначать варениклин (количество рецептов на варениклин, выписанный 7 предыдущим пациентам).  Итог: RD = 0.67% (95% CI –0.11; 1.46%) на 100 пролеченных пациентов. Клинически не выражен, статистически не значим. 

Пока писал пост, понял, что нужно будет еще раскрыть некоторые особенности (кто такие "послушники" и "непослушники", IV в РКИ, методы, что-то еще). Поэтому буду пока это разбирать...

@Ebm_base

Что-то я здесь запутался с ссылками, когда писал пост. Исправил

🎤Продолжаем разговор о статистике в формате Живой студии.

В эфире Бурлов Никита Николаевич!

Интересно, можно ли меня считать нишевым биостатистиком? Есть эксперты?

У меня было несколько интересных выступлений, записи которых организаторы выложили
1. Рассказываю про дизайны квази-эксперимента (смотреть с 7:16:25, я потом понял, что допустил в нем ошибку при объяснении эффекта в DiD)
2. Показываю, что умеет ИИ в статистике "типичного" исследователя (смотреть с 3:16:32, но лучше ознакомьтесь со всей секцией, отдельная благодарность за интересные доклады остальным спикерам, upd была неверная ссылка)

Буду рад дискуссии, если есть вопросы/комментарии!

Тут можно далеко зайти.

Крайне интересные два поста и дискуссия к ним.

Мне кажется, что прежде чем обсуждать, что должно или не должно входить в курс по статистике и обсуждать качество курсов, нужно ответить на более фундаментальный вопрос: чему именно мы хотим научить врача?

Я вижу как минимум три разные аудитории.

1. Врач, который не занимается исследованиями, но регулярно читает статьи, клинические рекомендации и слушает лекции.

2. Врач-исследователь, который сам не проводит статистический анализ, но планирует исследование, набирает пациентов, обсуждает дизайн со статистиком и интерпретирует готовый отчет.

3. Врач-исследователь, который планирует самостоятельно анализировать данные.

Очевидно, что это три разные образовательные задачи.

Честно говоря, у меня нет готового ответа ни для первой, ни для второй группы, и тем более для третьей.

Но если говорить о первом уровне, то из опыта работы с ординаторами мне кажется важным понимание следующих вещей.

1. Что означает p-value и чего оно не означает. Почему в первую очередь мы смотрим на первичную конечную точку.

2. Почему статистическая значимость не равна клинической. Что такое Number Needed to Treat (NNT) и почему он тоже не является универсальным показателем.

3. Что множественные сравнения увеличивают вероятность ложноположительных результатов. Почему при большом числе вторичных конечных точек p = 0,05 уже нельзя интерпретировать так же, как при одном сравнении. Почему в описательной статистике p-значения в ряде журналах вообще не используют.

4. Зачем нужны поправки на множественные сравнения, иерархия конечных точек и почему в некоторых исследованиях используют win ratio.

5. Как на базовом уровне интерпретировать кривые Каплана-Мейера.

6. Для чего нужны регрессионные модели. Понимать, что авторы могли преследовать разные цели: оценить причинно-следственные связи, построить прогностическую модель или просто сделать модель ради модели [последнее разумеется то чего лучше не делать].
Я бы тут еще a) про casual inference рассказал бы и привел пример парадокса ожирения. b) сказал бы что не все что называется прогностической моделью является адекватной прогностической моделью и про внешнюю валидизацию.

7. Что данные могут иметь разные распределения. Когда данные лучше описывать средним значением, а когда медианой и 25-м и 75-м процентилями.

8. Какие ограничения есть у подгрупповых анализов.

9. Что такое статистическая мощность исследования. Как, читая статью, можно прикинуть, было ли включено достаточно пациентов. Понятно, что здесь придется объяснять доверительные интервалы, еще раз говорить о клинической значимости, приводить примеры и честно сказать, что простого алгоритма здесь нет.

10. Как интерпретировать чувствительность и специфичность тестов и почему без учета распространенности заболевания они могут вводить в заблуждение.

11. Типы исследований. Что такое рандомизация и ослепление и зачем они нужны. Типы наблюдательных исследований. Что можно и чего нельзя узнать из последних.

12. Что такое разные виды bias с примерами. Что важно понимать какие пациенты попали в работу и и нет ли тут immortality bias и т.д.

13. Что такое мета-анализ и основы его интерпретации.

А что думаете вы? Что бы вы добавили в этот список? Что, наоборот, считаете лишним для врача, который не делает исследований и только читает статьи и слушает лекции