Хотел написать пост про парадокс Симпсона, но напоролся на замечательный частный его случай, который называется феноменом Уилла Роджерса. С этим феноменом я когда-то давно познакомился в форме анекдота
Петербуржцы, уезжающие жить в Москву, повышают средний IQ обеих столиц.
Если представить, что каждый такой петербуржец теряет чуточку IQ в процессе переезда, то получится стандартный парадокс Симпсона: после переезда средний IQ в столицах упал, хотя в каждой столице по отдельности вырос.
На собесах часто просят привести конкретный численный пример парадокса Симпсона и сюжет с переездом позволяет очень быстро его подобрать. Скажем, пусть до изменения группа A состояла из чисел 3 и 4, группа B из числа 1, а после изменения число 3 переехало из A в B, превратившись в 2. Тогда общее среднее уменьшилось с 8/3 до 7/3, среднее в A выросло с 3.5 до 4, а среднее в B выросло с 1 до 1.5.
Поучительный пример из статьи на вики:
Реальный пример феномена Уилла Роджерса заключается в медицинском понятии «миграции» стадий развития рака». Суть его состоит в том, что улучшение методов диагностики рака приводит к изменению состояния части людей со «здоровый» на «больной»: у людей выявляют опухоли, которые ещё не причиняют им беспокойства.
Удаление их из множества здоровых повышает средний показатель продолжительности жизни этой группы. С другой стороны, эти люди менее больны чем те, кто уже находится в множестве больных раком, так что добавление их в это множество повышает и его среднюю продолжительность жизни.
Парадокс Симпсона очень любят в аналитике, потому что он объясняет, почему нельзя считать среднее значение метрики, усредняя средние значения метрики по пользователям (или другим группам). Скажем, средний чек в ресторане за месяц может упасть, даже если средний чек каждого посетителя вырастет.
Это приводит нас к так называемым ratio-метрикам, когда у каждого пользователя (или какой-то другой единицы рандомизации, которые мы случайно раскидываем между контролем и тестом) измеряется две величины X_i и Y_i, и дальше хочется следить за величиной (sum_i X_i) / (sum_i Y_i). Парадокс Симпсона предостерегает нас от того, чтобы просто посчитать для каждого пользователя X_i / Y_i и дальше применить t-тест.
Как оценивать изменение ratio-метрики, мы узнаем в следующей серии.