Ловушки в аналитике, с которыми сталкивается каждый

Ошибка корреляции. Совместное изменение двух переменных в динамике не свидетельствует о наличии причинно-следственной связи между ними.
Пример из бизнеса: чем ближе летний сезон, тем больше компания тратит на ремаргетинг и тем больше у этой компании заказов.
Как избежать ловушки? Единственный способ установить причинно-следственную связь между двумя переменными — провести управляемый эксперимент (AB-тест).

Мультиколлинеарность. Это частный случай ошибки корреляции, которая объясняется наличием третьей переменной, которая связана с обоими изучаемыми признаками.
Пример из бизнеса: было замечено, что те, кто оставляет гневные отзывы в приложении, имеют гораздо больший LTV по сравнению с остальными. Начали рождаться гипотезы о том, что это клиенты, которые эмоционально вовлечены в продукт... Или же те, кому важен продукт, будут его критиковать, потому что часто пользуются и искренне хотят, чтобы сервис изменился... Истинное объяснение оказалось, как с размером города: чем дольше клиент «живёт» с компанией, тем больше вероятность, что рано или поздно он оставит гневный отзыв.
Как избежать ловушки? Нужно зафиксировать фактор времени константой для обоих групп. Для этого сравним LTV клиентов, которые оставляли отзыв за первые 7 дней с теми, кто не оставлял отзыв, но точно пользовался продуктом первые 7 дней

Неоднородные группы. При проектировании экспериментов использовать случайное перемешивание и квоты, общие для контрольной и тестовой групп. Проверять, что тестовая и контрольная группа имеют однородный состав.Если тестовая группа изначально наполнена так, что содержит более благоприятную аудиторию, то метрики по ней будут выше, но не из-за влияния изучаемого фактора, а из-за преимущества контрольной группы по своему составу.
Пример из бизнеса: сервис по доставке еды решил проверить, как неожиданные сюрпризы на 8 марта повлияют на LTV клиенток. Логичным контрольным сегментом могут показаться мужчины (так как они не получают сюрпризы на 8 марта).. Но сравнивать LTV между такими группами будет ошибкой. Мужчины в среднем больше едят и богаче (временно, несправедливо, но факт), а значит и заказывают больше еды и имеют больший LTV.
Как избежать ловушки? При проектировании экспериментов использовать случайное перемешивание и квоты, общие для контрольной и тестовой групп. Проверять, что тестовая и контрольная группа имеют однородный состав.

Малые выборки. В выборочных исследованиях (когда по части объектов судим о всей совокупности) часто обнаруживается сегмент, в котором метрика выше или ниже, чем в среднем. Может возникнуть соблазн делать далеко идущие выводы, но такие выводы будут ошибочными без расчета доверительного интервала.
Пример из бизнеса: при очередном замере метрик здоровья бренда засекли рост спонтанного знания среди старшей аудитории, отпраздновали на корпоративе и выписали премию коллегам, которые сотрудничают с газетами. На следующем замере метрика среди старшей аудитории отскочила к стандартным значениям, хотя на газеты потратили ещё больший бюджет.
Как избежать ловушки? Всегда смотреть на среднее по выборке с оглядкой на доверительный интервал

Ошибка подглядывания. Если постоянно подглядывать на промежуточные результаты эксперимента, то однажды мы получим желаемые результаты и соблазн остановить эксперимент в этот момент будет слишком велик.
Пример из бизнеса: вы запустили АБ-тест и вам так интересно, что заходите проверять результаты каждый день. Уже три дня подряд показатели тестовой группы были лучше, чем у контрольной, поэтому вы решили досрочно закрыть эксперимент, признав его успешным.
Как избежать ловушки? Рассчитывать достаточный размер выборки и не подглядывать пока она не накопится.