душно про дату

Математическая статистика, 2 / 2

Матстат 3. Обобщает, развивает и углубляет предыдущие два курса и наваливает нового материала. Повторение дельта-метода, углубление метода максимального правдоподобия (обычное, профильное, условное, маргинальное правдоподобия). Теория M- и Z-оценок (в том числе, как обобщение метода максимального правдоподобия, псевдо- и квазиправдоподобия). Квантильная регрессия. EM-алгоритм. Текст завершается короткой главкой про пропущенные наблюдения. В этом тексте хорошо расставлены ссылки на "настоящую литературу", всякие классические книжки.

Матстат 4. Раньше матстат 3 и матстат 4 были вместе одним предметом, потом их разделили. В этой части рассматриваем метод Монте-Карло, бутстреп (параметрический и непараметрический). Дальше в меню ядерные методы оценки плотности. Заканчивается все ядерной регрессией, включая оценку условной дисперсии.

Робастная статистика. Этот курс тоже отпочковался от совместного курса матстата 3+4. Весь текст посвящен выбросам и как работать с данными, которые их содержат, робастным оценкам и их свойствам. Я уже ссылался на него, когда писал про выбросы. Очень советую прочитать хотя бы секцию 1.1, чтобы иметь общее представление о выбросах и о том, с какой стороны к этому снаряду можно подходить.

Математическая статистика, 1 / 2

Матстат 1. Текст логически делится на две части. Сначала идет небольшое повторение теорвера и введение в теорию матстата: что такое выборка, что такое параметр, что такое оценка параметра, какие бывают общие подходы к построению оценок параметров (методы моментов и максимального правдоподобия, эмпирические оценки), что такое гипотезы и какие есть подходы к их тестированию. Во второй части разбирают классические тесты для всяких разных сеттингов: одновыборочные, парные и двувыборочные Колмогоров-Смирнов, т-тест, Вилкоксон (очень советую подробно прочитать секцию 6.4, посвященную двувыборочному Вилкоксону, он же Манн-Уитни). Целая глава посвящена тестам для бинарных категориальных данных (это те, которые "да-нет"). Многовыборочные тесты (анова, таблицы сопряженности) тоже рассматриваются, но не настолько подробно.

Матстат 2. В два раза короче, чем матстат 1 и вольно развивает повествование, начатое в первой части матстата 1. Абстрактная теория матстата: теория несмещенных точечных оценок и их эффективность, граница Рао-Крамера и достаточные статистики. Теория максимального правдоподобия, профильное правдоподобие. Теория статистистических тестов, теорема Неймана-Пирсона, тесты на основе правдоподобия, в том числе тесты с мешающими параметрами.

Материалы по теорверу и матстату от одноименной кафедры матфиза Карлова университета

По просьбам трудящихся выкладываю список основных материалов от моей кафедры, по которым учился в том числе и я. Все материалы академичны и математичны, с определениями, теоремами и доказательствами, поэтому как вводные тексты для нематематиков, наверное, подойдут не очень. Напротив, люди с техническим бекграундом или каким-то опытом в матстате могут сильно продвинуться, опираясь на эти тексты.

Что важно: это не постоянные ссылки. Курсы живут и развиваются, расширяются, переписываются и редактируются, объединяются и разделяются. Поэтому если вас заинтересовал конкретный материал, лучше скачайте файлик. Если вдруг какая-то ссылка умерла, вы можете потыкать меня в личку или в комментарии и я попробую это дело поправить.

Вдогонку из той же статьи комбо из рубрик Классики внятно пишут и Автор не тормоз, но медленный газ

1. Наконец-то внятная интерпретация того, что такое корреляция Пирсона. Само соотношение я видел 100500 раз, но до меня никогда не доходило, что именно оно значит (автор если что написал диплом про коэффициенты корреляции). Просто 🤯
Заметим, что d Коэна тоже лежат где-то рядышком.

2. Красивое типографическое. Смотрите, как интересно они верстают десятичные дроби: используют точку посередине строки, а не запятую или обычную точку.

Смотрите, какой предок хитмапа из 1994 года. Очень красиво и лаконично.

Из статьи Regression towards the mean, Bland and Altman.

#dataviz

Оформление отчетов. Единицы измерения

А вот тут можно почитать про то, как правильно на письме оформлять единицы измерения всех возможных вкусов и форм. Сам текст классный, список литературы тоже огонь. А еще в этой же серии Справочник есть другие статьи, достойные внимания: про кавычки, математические шрифты и скобки, например. Инджой.

#writing

Если вы не понимаете как образуется график типа "ящик с усами" (боксплот), советую прочитать этот пост:

https://telegra.ph/Boksploty-05-06

Про p-hacking

Несу вам отличный пост датаколады про p-hacking и не только. Ребята разбирают статью про ментовской беспредел полицейское насилие и что с ней может быть не так.
Первое предложение из поста:

A forthcoming paper in the Quarterly Journal of Economics (QJE), "A Cognitive View of Policing" (htm), reports results from a field experiment showing that teaching police officers to "consider different ways of interpreting situations they encounter" led to "reductions in use of force, [and] discretionary arrests" (abstract).

Вынесу еще мысль, которая мне понравилась:

This, obviously, is also defensible. 100s of choices are defensible. That's how p-hacking works. We cherry pick among defensible specifications. That's why good researchers with good intentions p-hack, it seems reasonable when you are doing it. I think these are excellent researchers with excellent intentions, and I think they p-hacked. I am not saying they are cheaters, I am saying they are human.

Читать вот здесь, тыц.

#statistics

Про оформление отчетов

Меня тут студенты спрашивали про то, до какого знака округлять и как оформлять таблички и чиселка в тексте. Собрал сколько-то источников с пояснениями, выложу и сюда тоже (да, я помню, что обещал про проверки на нормальность, к середине января распинаю проекты, закончится семестр и сяду писать текст =).

Вообще, это не то чтобы какие-то устоявшиеся правила, это скорее вопрос дизайна, верстки, типографики и стандартов принятых в журнале. У физиков есть какие-то там свои конвенции, но попытка их применить в биомедицинском журнале достаточно часто вызывает непонимание рецензентов (например, у физиков принято среднее и sd округлять до разного количества знаков; биомедикам такое не заходит). Поэтому вместо жестких рекомендаций посоветую штуки, которые можно почитать, чтобы понять, чем руководствоваться при принятии решений (то есть, как можно уточнить правило "верстайте хорошо, а плохо не верстайте"). Начнем с двух статей; в обоих случаях советую почитать также статьи из библиографии, которые они упоминают.

1. Rudiments of Numeracy, Ehrenberg, 1977 — задает самую базовую рамку для верстки таблиц. Очень советую всем, хорошо написано, вынес оттуда много важного, а еще там очень красиво и минималистично. Рекомендасьон.
2. A Case for Simple Tables, Martin Koschat, 2005 — похожий текст, но поновее. На мой вкус, труба пониже, дым пожиже.

Из более объемных текстов можно посмотреть в сторону книжек Tufte; начните с The visual display of quantitative information, 2nd ed., 2007. Там про графики и иллюстрации вообще, но есть и про таблички. Автора люто-бешено котируют ребята из Бюро Горбунова и дизайнеры вообще.

Из более фастфудного: можно погулять по каналу и блогу Ильи Бирмана, он часто пишет про представление информации и таблички. В качестве стартовой точки можете взять вот этот список коротких видосиков с его курса про интерфейс и представление информации, минимум треть из них релевантна и для нас, пишущих и верстающих отчетики.

Есть специальный канал табличный дизайн, там прицельно про это пишут. У них же есть табличный курс, я фоново имею в плане на него сходить, когда будет время и настроение. Я про них писал в первом посте на канале.

Ну и можете погуглить всякие стайлгайды, госты и руководства для инженеров, физиков и верстальщиков, там наверняка этот вопрос будет освещен и нормирован.

А еще 31.12 активной жизни канала исполнился год. Ура и вау, то ли еще будет! 🙏

#dataviz #tables #writing

Про цвета

Сто лет молчу, молчал бы и дальше, но у меня тут сложилось бинго из ссылок, поэтому мне надо с кем-то поделиться, а с кем делиться, если не с любимыми пампишеками.

1. Увесистая онлайн-книжка про цвета, физиологию восприятия цвета и цветовые модели и пространства. Советую прочитать хотя бы первую главу. Рекомендую также перейти на главную страничку автора и полистать другие его проекты. Там есть, например, книжка про смешивание цветов в акварели.

2. Отчет xkcd о масштабном исследовании нейминга и восприятия цветов, которое Рендел делал на своем сайте. Всякие интересные наблюдения, красивые картиночки. Из плюсов: посетители xkcd лояльны, поэтому готовы литерали часами описывать цвета просто по фану, география охватывает почти весь мир. Из минусов: это convenience sample из посетителей xkcd.

3. Палитра на xkcd, составленная по результатам исследования выше. Содержит 954 цвета и забавные названия. Вроде как даже есть пакеты для R, которые реализуют доступ к этой палитре по названиям.

4. На сладкое — пдфка со свотчами стандартных цветов из R. Держу ее под рукой, когда рисую графики. Очень нравится использовать ivory для фона.

Причастным желаю счастливого адвента. Непричастным — осталось ночь простоять, да день продержаться и будут новогодние праздники, отпуск не за горами!

To be continued...


#dataviz

Давайте я попробую пересказать то, что пишет Максим, чуть более упрощенно. Максим может меня поправить, если я где-то навру.

1. Подход с планированием исследования и предварительным расчетом выборки -- идея скорее хорошая и оно должно бы так работать. На практике однако возникает вопрос, как определить границу минимально интересного эффекта и как определить ожидаемую дисперсию в группах.

2. В медицине это превратилось в карго-культ потому, что по факту там занимаются подгонкой задачи под ответ. То есть не на основе вводных считают количество пациентов, а наоборот: у нас есть понимание, сколько мы можем набрать пациентов / сколько их есть, и дальше мы подбираем такие значения границы эффекта и дисперсий, чтобы получить то количество пациентов, которое нам надо. Честнее было бы написать сразу, что проанализировали столько, сколько нашли.

3. В классической статистике у нас есть асимметрия между нулевой и альтернативной гипотезами. Мы можем отвергнуть нулевую гипотезу в пользу альтернативы, которую принимаем (потому что вероятность ошибки первого рода у нас под контролем). Однако вероятность ошибки второго рода мы не можем контролировать явно, поэтому мы не можем принять нулевую гипотезу, мы ее просто не отвергаем, что по факту надо интерпретировать как "на этих данных мы ничего не можем сказать" (потому что хз, то ли нулевая гипотеза и правда верна, то ли просто выборка маловата).

Расчет выборки позволяет нам проконтролировать вероятность ошибки второго рода, таким образом мы можем не только отвергнуть нулевую гипотезу, но и принять ее.

4. Сам расчет выборки исходя из мощности сильно завязан на тестирование гипотез. При этом тестирование гипотез -- это дихотомизирующая процедура, ответ которой "да / хз" в общем случае и "да / нет" при посчитанной выборке. Это все сильно ограничивает нас и надо бы от разговора о мощности теста перейти к разговору об оценке эффекта. То есть не гипотезы тестировать, а доверительные интервалы строить. И считать выборку так, чтобы достигнуть заранее предписанной длины доверительного интервала.

5. Расчет выборки, если мы говорим про что-то сложнее т-теста -- нетривальная задача, потому что для него требуется много вводных, которые еще и сложным образом зависят друг от друга. Поэтому как правило считается не точная выборка ("при такой-то выборке мощность ровно такая-то"), а ее верхняя оценка ("при такой-то выборке мощность как минимум вот такая").

Автор умер...

...как студент и возродился в новом социальном статусе магистра. Все ещё осваиваюсь в новой роли и переживаю приливы эйфории по этому поводу. Из этого так же следует, что посты будут чуть чаще, чем раньше.

Разбавим организационную часть статистической пользой. Лена Убогоева запилила пост про расчёт выборки для исследования, и в комментариях состоялась дискуссия. Заходите почитать и поучаствовать. А я вам принесу саммари обсуждения.

На днях Человек наук возмутился подводкой "все знают, что...", которую часто используют лекторы и докладчики. Претензия сводится к следующему:

"Если слушатели знают, про что говорится дальше, то эта фраза просто отнимает время. Если не знают, то в этот момент чувствуют себя глупыми. Можно просто выбросить эту фразу из речи и сделать её только лучше."

Мнения в комментариях разделились. Часть комментаторов, помянув главреда всея Руси Ильяхова, согласились с топикстартером и призвали не использовать эту, с их точки зрения, бессмыссленную вводную конструкцию. Кто-то не может "представить ситуацию, в которой подобные фразы нельзя не использовать". Некоторые даже расчехлили психологические объяснения типа "чувство собственной тупости должно быть у всех участников конференции".

Другая часть комментаторов однако подметила, что "все знают, что..." выполняет прагматические функции и служат для дополнительной семантической разметки текста. Любая новая информация ложится только на уже подготовленную почву. Поэтому обычно сначала задается рамка беседы / контекст или устанавливается common ground, которые уже известны как докладчику, так и аудитории, а только потом следует новая информация; почти как тема и рема.

В этой схеме "все мы знаем, что..." выступает как явный маркер вводного этапа "сверки часов". Некоторые участники дискуссии отмечают, что это важно в том числе для того, чтобы на утверждение "дважды два четыре" люди не начали закатывать глаза со вздохами "тоже мне открытие". От себя добавлю, что и обратное тоже верно: если я открываю статью и на первой же странице вижу тензорную алгебру, я статью могу с чистой совестью отложить, потому что вряд ли я пойму из нее много — с тензорным анализом я незнаком.

Пользователь Слава Меритон предлагает объяснение с точки зрения концепции общего знания (common knowledge). Произнося "все мы знаем, что дважды два — четыре", мы не просто убеждаемся, что все мы это знаем; мы еще и убеждаемся, что "мы знаем, что мы все это знаем".

Вывод: писать и сокращать — идея хорошая. Но не все и не всегда. Если вы знаете, зачем вам эта конкретная вводная конструкция в тексте и какую именно роль она играет, то оставьте ее в покое.

Сама подводка безобидна: "Все мы знаем, что дважды два четыре. Сегодня мы поговорим о ситуациях, когда это может быть не так," — едва ли кого-то заденет такой запев. Триггерить она начинает, когда есть несовпадение между ожиданием докладчика от своей ЦА и реальной подготовкой аудитории. "Все мы знаем, что из Lp сходимости следует сходимость по мере" звучит нормально в аудитории матфиза, но вряд ли встретит понимание на медицинской конференции. Иными словами, проблема не в самой конструкции, а в том, что докладчик неправильно оценил свою ЦА и неудачно подготовился к выступлению.

На сладкое прокомментирую интерпретацию "все учатники конференции должны чувствовать себя тупыми". Любая коммуникация строится на некотором базовом доверии к автору текста или спикеру. Открывая книгу, вы базово верите, что автор хочет вам что-то сообщить, а не просто пишет слова в рандомном порядке, например. Ситуации бывают разные, но вообще если с первых минут вы воспринимаете слова докладчика в штыки, возможно вам стоит задуматься, что вы вообще делаете в аудитории, если вы настолько не доверяете докладчику. Если, с вашей точки зрения, докладчик здесь, чтобы самоутвердиться за ваш счет, то, возможно, вам не стоит вообще его слушать, а потратить время с большей пользой?

#communication

Вот здесь человек наук хорошо описал, почему сделать грамотную иллюстрацию - это не просто три строчки из ггплота. Собственно, тот же Тафти не просто так ест свой хлеб и пишет книжки и научные статьи (у Тафти кстати в анамнезе матстат и эпидемиология). Похожие соображения касаются и таблиц.

По этой причине мне кажется очень полезным следить за тем, что пишут и говорят дизайнеры, верстальщики и редактора. Если хотя бы изредка применять на практике штуки, про которые пишут дизайнеры, то качество текстов вырастает на порядок, я гарантирую это.

#dataviz

Разговор про выбросы часто выглядит чрезвычайно куцо.
* "Выбросы — это точечки и звездочки на босксплоте."
* "Регрессия / t-тест плохо переваривают выбросы, поэтому их нужно удалять."
* "Если в данных есть выбросы, то нужно использовать непараметрику / ранговые подходы."
И прочее, и прочее.

Редко звучит мысль о том, что не надо просто так удалять выбросы, а стоит задуматься над тем, почему и откуда они взялись в ваших данных, являются ли они органичной частью даты или же это ошибки, хотим ли мы их моделировать, или для нас они экстраординарное явление, которое учитывать в нашей модели мы не хотим. Мысль, что для выбросов стоит предложить вероятностную модель и работать с ними в рамках нее, звучит еще реже.

Теперь слайды.

На Рис. 1 сверху представлена гистограмма некоторой величины X, жирной красной линией отмечено среднее, тоненькими +- SD. Снизу пририсован боксплот: он настолько вырожден, что видно только десять выбросов.

Если мы занимаемся физикой или биомедициной и это наши измерения, то вполне может быть так, что вот эти десять аутлайеров — это какая-то ерунда. Кабель плохо воткнули или при переносе данных кто-то опечатался нулем. В таком случае исключение этих аутлайеров — вполне логичный шаг, который даст нам картинку на Рис. 2.

Посмотрим на это с другой стороны: вы — бузинес, а X — это ваши продажи (отдельные чеки). Действуем так же, как и в прошлый раз, да ведь? Ну хз. На эти ~5% чеков в сумме приходится 60 миллионов выручки, в то время как остальные 200 чеков обеспечивают всего 20 миллионов. Случайность ли это? Или осознанная бизнес-модель, когда реальную выручку вам генерит всего пара крупных контрактов, а все остальное — это скорее маркетинг? Если последнее, то применение ранговых критериев и тем более исключение выбросов сыграет с вами злую шутку.

Наблюдения становятся для нас аутлайерами не потому, что какая-то статистическая процедура пометила их звездочкой. Как мы помним, любой статвывод делается в некоторой вероятностной модели. Поэтому было бы здорово, если бы аналитики явно описывали эту модель, а затем задумывались, подходит ли она под их ситуацию. Выбросами наблюдения становятся только в контексте, и что для одной задачи шум и data contamination, то для другой задачи — норма и совершенно ожидаемое наблюдение.

Больше про работу с выбросами можно узнать вот тут; советую прочитать хотя бы раздел 1.1, он хорошо описывает проблематику.

#statistics

Контент про матстат будет попозже, пока продолжим разговор про датавиз и обратим свой взор на таблицы. Почему-то исследователи забивают болт на оформление и верстку табличек; иногда создается ощущение, что к публикации их прикладывают для галочки. Не надо так.

Рассмотрим на примере таблицы из публикации про скрининг диабета. Увы, в процессе переписывания статьи в формат письма таблички были отброшены и в самой публикации вы их не увидите; покажу их вам на бутлегерских правах. На рис. 1 вы видите таблицу в том виде, в котором она была в черновике рукописи статьи. На рис. 2 вы видите мой вариант переверстки. Давайте пройдемся по тому, что я поменял и почему.

Субстантивно:

* Таблица содержит статистику ответов на один из вопросов анкеты (таких табличек в приложениях к статье было много). В шапку таблицы я добавил номер вопроса, чтобы было легче ориентироваться (Question 10).

* Добавил структуру в организацию строчек.
Глобально ответа всего два: либо программы скрининга нет и разговаривать не о чем, либо программа скрининга есть, и тут начинаются нюансы: на уровне федеральном или местном, бесплатно для пациента или же на возмездной основе. В изначальной таблице все эти ответы представлены как равноправные; в моей версии я попытался отразить их иерархию и структуру.

Что по деталям.

* Боковик (первый столбик) выровнял по левому краю.
* Прографку (содержимое таблички) выравнял по разрядам, чтобы числа было проще сравнивать.
* Курсивом выделил ключевые слова ответа. Первый уровень (да / нет) заверстал капсом (YES / NO).
* Поправил дефисы на короткие тире (вы все еще путаете типографские черточки? тогда мы идем к вам! про английскую типографику можно почитать здесь и вот тут).
* Убрал ненужные границы клеток.

Все манипуляции проводил в обычном MS Word.

#бэкстейдж #tables

Прервем молчание красивым графиком про ИМТ взрослого населения в США отсюда.

Что мне нравится на пикче: все.

Начнем с главного.

1. Мы видим двумерную гистограмму совместного распределения роста и веса; частота каждой клеточки передается ее размером.
2. ИМТ — это детерминистическая функция роста и веса; на основе него выделяют степени ожирения / дистрофии. Эти классы показаны тонкой пунктирной линией и дополнительно выделены цветом.

Пройдемся по деталям.

1. Отдельные квадратики перекрывают друг друга. Это не мешает восприятию и придает изюминку и ритм. У графика словно появляется материальное / физическое измерение, какая-то тактильность; как будто он составлен из карточек.
2. Обратите внимание, как показано разбиение на степени ожирения / дистрофии. Общий тон задают тоненькие линии; "карточки" нарисованы поверх линий, поэтому введена дополнительная цветовая кодировка.
3. Палитра офигенная: негромкая, не выжигает глаза, устойчива ко всем видам дальтонизма и переводу в ЧБ вид (чекал вот тут). Нормальный ИМТ закодирован белым — это же гениально.
4. На графике нет отдельной легенды: она вынесена в свободное место наверху и совмещена с информацией о том, какая часть взрослой популяции приходится на каждый класс ИМТ.
5. Очень читаемые и одновременно ненавязчивые оси. При этом помимо оси X (вес) и Y (рост) у нас появляется третья ось: класс ИМТ. Обратите внимание, как органично включены единицы измерения в подписи на осях.
6. Оценим рубленый моноширинный шрифт для самого графика. Главная мысль напечатана на самом графике шрифтом с засечками.
7. На графике указан источник данных.

Крч, вах-вах, очень хорошо, Nathan Yau (автор графика) — виртуоз, хочу такой постер. (Иллюстрация сделана в R и потом допилена в Adobe Illustrator).

#dataviz