душно про дату

Подъехала запись с расшифровкой. В первые полчаса моя первая попытка прочитать лекцию про то, как анализировать статистические тесты и из чего они состоят. Потом было интересное обсуждение именно дизайна исследований и того, как думать головой, а не только чиселка считать. Душевно посидели, хочу еще.

Открыт набор на модульный интенсив «Продвинутые разделы биостатистики», который пройдет с 24 февраля по 28 апреля!
bioinf.me/education/workshops/hardstat | Регистрация до 19 марта 23:59 МСК

В этом году интенсив состоит из 8 модулей, и у вас есть возможность выбрать 2, 4, 6 или все 8 модулей!

1. Смешанные линейные модели
2. Продвинутые модели анализа выживаемости
3. Разработка интерактивных приложений в R/Shiny
4. Машинное обучение в R
5. Обработка пропущенных значений
6. Методы на основе ресемплинга
7. Введение в байесовскую статистику
8. Причинно-следственный вывод

🌑 Лекции и практические занятия будут проходить по вечерам вторников и субботам.

🌑 Стоимость:
2 блока: 25 000 р.
4 блока: 35 000 р.
6 блоков: 45 000 р.
8 блоков: 50 000 р.

🐚Предоставляются скидки выпускникам программ переподготовки и интенсивов Института биоинформатики!🐚

Приглашаем всех, кто имеет базовые знания биостатистики и навыки программирования в R, погрузиться в более сложные методы анализа данных!

#bioinf_online #bioinf_education #bioinf_workshop
@bioinformatics_institute

Кстати. Вот есть такая штука, я там читаю модули про смешанные модели и ресемплинг (монте-карло, бутстреп, пермутации). Остальные модули тоже очень интересные, я хочу послушать их и сам. Приходите :)

К обсуждению про односторонние тесты, @smatrosov и @slavenkofm согласились созвониться в этот четверг 19 февраля в 19.00 МСК.
Будет чисто дружеский междусобойчик, проговорим что уже обсудили, ответим на вопросы если останутся
@the_thousand_lepers @bqmaks @Nik_Burlov и все остальные, присоединяйтесь!

https://abbatesting.ktalk.ru/mrt7m8jrbuqq заглядывайте завтра (в четверг) послушать Матвея в 19 МСК

Завтра будут посиделки. Заходите на огонёк послушать мой нудёж

Продолжаю возвращение из астрала. Вышла первая статья по проекту, над которым работал полтора года.

В чем суть?
Современный способ менджерить диабет первого типа — это полузамкнутые системы: датчик гликемии снимает показания каждые 3–5 минут, в зависимости от показаний система может подать сигнал инсулиновой помпе и скорректировать дозу инсулина. Система полузакрытая потому, что в нее все еще нужно руками вводить количество съеденных углеводов и посылать т.н. болюс — дозу быстрого инсулина.

Проблема состоит в том, что подростки существа безалаберные, поэтому достаточно часто забывают/забивают на то, чтобы информировать машинку о приеме пищи. Само собой, это плохо сказывается на гликемических параметрах. С другой стороны, есть три разных популярных системы с несколько разными алгоритмами подачи инсулина. В этой статье мы исследовали, как разные системы справляются с фактом того, что человек поел, а системе об этом рассказать забыл.

Что выяснили?
* Если вы едите, но не вводите инфу об этом в машинку, то результаты у вас будут хуже, причем заметно хуже.
* Чем больше сахаров, тем хуже ваше результаты, особенно если вы не рассказываете системе о приеме пищи.
* Одна из систем справляется с неанонсированным приемом пищи заметно хуже других.

Что интересного для меня?
У нас есть четыре переменные, которые интересуют нас: тип системы (три варианта), количество углеводов (30г и 50г), тип инсулина (два типа), факт информирования системы о приеме углеводов (да или нет). Исследование дизайнили заранее, поэтому каждый пациент наблюдался восемь раз: он не менял свою систему, но употреблял разное количество углеводов, на разных типах инсулина, каждый раз информируя и не информируя систему о приеме пищи (то есть в отношении этих трех переменных у нас full factorial experiment, нужно учитывать зависимости на уровне пациента).

Количество углеводов контролировалось с помощью специального питания, дополнительно это все проводилось с утра натощак в выходной день при условии, что пациент здоров.

С другой стороны, у нас есть набор ковариат, которые влияют на исходы, но сами по себе нас не интересуют: возраст, диабетический стаж, пол.

В регрессионной модели, соответственно, было две части: одна учитывает влияние экспериментальных переменных (как главные эффекты, так и некоторые интеракции, которые мы заранее сочли разумным включить в модель), другая вносит поправку на ковариаты.

Из недостатков: дети не меняли машинки (каждый пользовался тем типом, с которым пришел), рандомизации по машинкам тоже не было.

#ярмарка_тщеславия

# Прогнозная модель vs Причинная модель
Работаю с прогнозированием каждый день и регулярно вижу одну и ту же проблему: бизнес просит инструмент для принятия решений, а команда в ответ обучает прогнозную модель. Кажется логичным, но проблема в том, что это разные задачи. Делюсь своим подходом как я ставлю в inDrive экспертизу по casual forecasting

Прогнозная модель отвечает на вопрос «Сколько заказов будет в городе, если тренд сохранится?». Бизнес спрашивает другое: «Что произойдет с поездками, если мы снизим комиссию для водителей на 10%?». Первое — forecasting. Второе — causal inference

## Почему нельзя «просто подставить новую комиссию в модель»
Почему не работает «просто подставить новую комиссию в модель»? Прогнозная модель минимизирует ошибку между историей и предсказанием. Она эксплицитно учится воспроизводить паттерны, а не изолировать влияние объясняющей переменной на целевую. Когда вы меняете комиссию на входе, удерживая остальные признаки, то вы предполагаете, что модель корректно разделила эффекты комиссии, сезонности, промо и конкурентов. Это не так

Классическое ML отлично отвечает на вопрос: «что будет?». Но бизнес почти всегда спрашивает другое: «что сделать, чтобы стало лучше?». И вот тут предиктивные модели упираются в потолок потому что прогноз это про мир «как он есть» а решение — это вмешательство: мы меняем цену, бюджет и пр.

## Проблема эндогенности
Есть и более фундаментальная проблема: эндогенность. Прогнозная модель не отличает «мы снизили комиссию» от «комиссия снизилась потому что на рынок пришел конкурент и демпингует». А для what-if сценариев это критично потому что бизнесу важен причинный эффект, а не корреляция

## Типовой пример
В городе одновременно растут заказы и падает комиссия. Прогнозная модель видит корреляцию и «запоминает»: низкая комиссия = много заказов. Но на самом деле заказы выросли из-за маркетинговой кампании, а комиссию снизили в ответ на вход конкурента. Если вы используете эту модель для решения «давайте снизим комиссию и получим рост заказов» — вы получите неверный ответ

## Что бизнес на самом деле хочет
Бизнес не хочет дашборд с прогнозами. Точнее сказать сначала он хочет дашборд с прогнозами и хорошие метрики на ретроспектиных данных, но по мере развития проекта он начинает хотеть хочет инструмент управления. «Куда направить маркетинговый бюджет?», «Какой канал реально приносит конверсии?»

Это не задачи прогнозирования. Это про causal inference, оценку причинного эффекта и выбор действий

## Как выглядит причинная модель на практике
На практике это выглядит так: модель строится специально под задачу. Например, комиссия -> количество заказов с контролем confounders. Каузальная модель медленнее в разработке, требует экспертизы в дизайне исследования и не дает красивых метрик на тесте. Но именно она отвечает на вопрос, который бизнес на самом деле задает

## Как их использовать вместе
Прогнозная модель хороша для планирования, причинная — для управления. У меня воркфлоу такой: forecasting для операционных задач (планирование), causal inference для стратегических решений (ценообразование, распределение бюджетов и пр.). Для простых задач планирования хватает прогноза. Для решений, где мы что-то меняем, всегда нужна причинная модель

Прогнозы полезны для планирования, но если цель управленческие решения, то бизнесу нужен не прогнозная, а причинная модель

Понемногу возвращаюсь из астрала. Начнём с репоста: ещё одно объяснение, в чем разница между каузацией и ассоциацией, на этот раз в контексте бузинеса.

С наступающим Новым годом!

У нас приятное с полезным: сегодня др канала и канун Нового года. Поэтому давайте прервем молчание и подведем итоги.

Мой уходящий 2025 был очень занятым. Это был первый год в статусе работающего на полную ставку, и работы было много и разной, порой даже слишком много. Часть этой работы оказалась марафонским забегом на долгую дистанцию, с таким я работать только учусь; иногда казалось, что это бочки Данаид и конца и края этой синей яме не будет, это было угнетающе. С другой стороны, работа принесла и свои плоды: сразу несколько проектов вышли на завершающие стадии. Статья, которую пилили полтора года, принята к публикации. Еще одна статья, которую пилю с 2022 года, наконец приняла форму финального манускрипта.

Это был первый год не в статусе студента. На самом деле, в моей голове я закрываю не 2025 год, а период с сентября 2024, когда у меня были госы и защита магистерской. Хотя я уже и не студент, получалось много учиться и соморазвиваться. Мне кажется, за эти полтора года я узнал много нового, научился куче вещей и вообще вырос над собой как понятие.

В новом году сосредоточусь на том, чтобы текучки было меньше и оставалось больше времени на вдумчивое чтение, изучение классных и интересных штук, а также отдых и пинание балды (не забывайте, что это — неотъемлемая часть исследований и обучения; без отдыха и ничегонеделания учиться получается плохо). А еще буду писать в канал почаще — идей-то много, но (удивительное рядом), складывать из букв тексты — это сложная работа.

Дорогие подписчики, желаю вам счастья, здоровья, удачи, успехов личных и профессиональных, а еще тепла и поддержки. Пусть новый год будет лучше и добрее. Спасибо вам, что приходите, читаете, делитесь с друзьями-коллегами и пишете комментарии. Меня так радует, что моя писанина привлекает чье-то внимание!

С праздником!

Двухфазовые процедуры Штайна и sequential analysis

Тут в одном из чатиков речь зашла про адаптивные процедуры статвывода. В классике у нас есть какая-то выборка объемом N и мы на ее основе проводим тест или строим ДИ. В этом подходе мы можем контролировать вероятность ошибки первого рода (ложноположительно отвергнутые нулевые гипотезы и вероятность ненакрытия истинного значения параметра). Контролировать вероятность ошибки второго рода мы не можем; собственно, поэтому мы не можем принять нулевую гипотезу, только не отклонить; также это значит, что мы не можем контролировать ширину ДИ при заданной вероятности покрытия.

В классике с надстройкой мы можем сделать power analysis и рассчитать объем выборки заранее так, чтобы контролировать как вероятность ошибки первого рода, так и мощность нашей процедуры. На практике все не так просто, но это все равно развитие идеи.

Следующим шагом вперед становятся адаптивные дизайны и последовательные (sequential) процедуры. Их идея состоит в том, что мы по мере набора выборки смотрим на наши данные специальным хитровыдуманным образом так, чтобы иметь возможность продлить исследование, если, например, дисперсия оказалась выше, чем мы планировали; или наоборот, остановить исследование, если все и так уже понятно: тритмент супер-пупер эффективный или наоборот, фуфлыжный и ловить там нечего (futility).

Одним из первых шагов в сторону адаптивных дизайнов является процедура Штайна. Прикладываю к посту презенташку, которую я делал в свое время на семинар. Первая часть посвящена доказательству того, что и на елку влезть, и на автобусе покататься не выйдет: действительно, нельзя при конкретном N в общем случае построить ДИ (или провести тест), с заданной вероятностью покрытия и длиной.
Во второй части разибраются процедуры Штайна: двухшаговые процедуры, которые на основе пилотной + основной фаз позволяют контролировать и то, и другое.
Ну и само собой самое интересное — это библиография.

Инджой.

На всякий случай, вдруг кто не знает. Список научно-популярных книжек Шпигельхальтера:
The Art of Statistics: How to Learn from Data (есть перевод на русский язык даже)
The Art of Uncertainty: How to Navigate Chance, Ignorance, Risk and Luck (совсем свежая)
Covid By Numbers: Making Sense of the Pandemic with Data
Sex by Numbers: What Statistics Can Tell Us About Sexual Behaviour
The Norm Chronicles: Stories and Numbers About Danger and Death

Ну и серьезные книги тоже есть у него, конечно, например, Bayesian Approaches to Clinical Trials and Health-Care Evaluation

Прервем молчание вот такой подборкой на почитать. На сам канал Максима тоже подписывайтесь, там редко (ещё реже, чем здесь), но метко.

Кстати, в комментах попросили поделиться опросом, вот ссылочка: https://t.me/mb3rlab/7

Сам канал тоже полистайте, там интересное. Например, пост про сигнатуры систем в теории надёжности.

Обсервационные данные

На днях в биостатере расчехлили свои колоды таро статистические тесты в обсуждении смертей кандидатов AfD. В процессе обсуждения вспомнили про кейс Люсии де Берк (и по касательной от нее закон Медоу и историю Кэтлин Фолбигг, но это другая история). Один из участников обсуждения написал очень классное, хочу поделиться и с вами:

Буквально вчера на RSS Conference на одной из секций выступали статистики, привлеченные по этим процессам стороной защиты. В случае с детьми одним из важных заключений со стороны защиты было: реальное событие и регистрация этого события - разные вещи, а связь со сменами медсестры привязывалась именно к регистрации события.

Здесь хорошо видно, почему карта не есть местность, записи в базах данных страховых компаний и ЕМИАС не то чтобы обязаны соотносится с реальностью, особенно в условиях, когда медкарты пишутся для товарища майора. Также отсюда видно, что хрустальные технооптимистические мечты типа "нужно просто собрать БД пожирнее, а дальше искин нам решит все проблемы" тоже разбиваются о суровый гранит правила garbage in, garbage out и особенностей работы бюрократических систем.

Ну и в целом это камень в огород концепции "объективных данных, беспристрастно описывающих реальность", но об этом в другой раз.

Читал заметку про System Design (как проектировать большие программные комплексы: фейсбук, гуглопочта, твиттер и т.д.) и наткнулся на две интересные мысли.

Не только среднее
Свою лекцию про проверки на нормальность я начинал с небольшого экскурса в философию прикладной статистики: разделение научного вывода и статистического и всякое такое. В числе прочего я говорил, что выбор интересующего нас параметра (эстиманда) продиктован той предметной задачей, которую мы решаем, и приводил примеры из медицины и страхового дела. Вот вам еще один пример, что но матожиданием и медианой едиными:

For user-facing metrics like time per-request, you also need to watch the p95 and p99 (i.e. how slow your slowest requests are). Even one or two very slow requests are scary, because they’re disproportionately from your largest and most important users. If you’re just looking at averages, it’s easy to miss the fact that some users are finding your service unusable.

Рутинная статистика
Про работу системного архитектора автор пишет вот что:

The main point I’m trying to make is what I said at the start of this post: good system design is not about clever tricks, it’s about knowing how to use boring, well-tested components in the right place. I’m not a plumber, but I imagine good plumbing is similar: if you’re doing something too exciting, you’re probably going to end up with crap all over yourself. [...] There are very, very few areas where you want to do the kind of system design you could talk about at a conference. They do exist! I have seen hand-rolled data structures make features possible that wouldn’t have been possible otherwise. But I’ve only seen that happen once or twice in ten years. I see boring system design every single day.

Думаю, это очень классно описывает работу прикладного статистика: мы из готовых кусочков должны правильно собрать скучную, рабочую машинку. Никаких вау-эффектов у нас почти никогда не бывает: все наши инструменты почти всегда берутся из пыльных книжек, изданных в прошлом веке. Если в выбранном мною решении статистической задачи происходит какая-то феерия и убермодные пакеты с перьями и стразами, то я стараюсь притормозить и задаться библейским вопросом.

P.S.: Ух ты как вас много тут собралось! Рад всех видеть. Если хотите, расскажите в комментах, что вас привело в мой канал и как прошло ваше лето.

Давайте обсудим.

У большинства из нас две руки и две ноги, но есть не очень большой процент людей, у которых конечностей меньше. В итоге распределение случайной величины "количество конечностей у случайно выбранного человека" дискретно, сильно скошено, мода и медиана равны четырем, матожидание чуть меньше четырех. Почти у всех людей количество конечностей выше среднего, если считать, что под "средним" понимается матожидание. Если же считать, что под средним понимается медиана, то все равно выходит, что у подавляющего большинства медианное количество конечностей.

Факт, что большинство водителей считают, что они водят "лучше среднего" часто подают как пример когнитивных искажений: мол, очевидно, что большинство не может водить лучше среднего, duh. Как показывает пример с конечностями — не очевидно.

Про факторный анализ

Отвечал на вопрос в личке, напишу и тут, очень коротко.

Надо различать анализ главных компонент (principal component analysis, PCA) и факторный анализ (factor analysis, FA). PCA иногда называют факторным анализом, особенно почему-то в социальных науках, но они совсем про разное. PCA вращает облако точек так, чтобы новые координаты были самыми подходящими в каком-то смысле. Факторный анализ же — это модель, которая пытается описать корреляции показателей с помощью латентных (скрытых) переменных.

PCA прост, как топор. ФА гораздо более красивая и сложная штука, и его надо уметь правильно готовить; просто насыпать дату в софт и получить решение можно, но с шансами это будет шляпа. Кроме того, ФА не имеет однозначного решения, его аутпут надо еще постобработать подходящим способом (выбор подходящей ротации). К сожалению, по моим ощущениям, людей, которые реально умеют работать с ФА, мало.

Про ФА есть симпатичная статья на вики.

Также прикладываю короткую презентацию-введение в суть ФА, которую когда-то готовил для семинара. Возможно, она кому-то сэкономит силы и время в попытках разобраться, что же такое этот ваш факторный анализ и как его приспособить в хозяйстве.

UPD: добавлю, что умение готовить FA в весомой степени лежит не в математике метода, а в понимании предметной области: чтобы применять факторный анализ как положено, вы должны очень хорошо понимать, какие такие скрытые переменные вы ищете и почему они должны быть в вашей дате.

Вкину ещё теоремку из теории графов: Ваши сексуальные партнёры, скорее всего, имели в среднем больше сексуальных партнёров, чем Вы.

Из комментариев, с привкусом дискретной математики и теории графов.