Вячеслав Зотов из WhaleKit написал настоящий лонгрид про тесты хи-квадрат. В статье последовательно рассматривается, что за распределение хи-квадрат, семейство тестов на основе этого распределения, связь с z-тестом, рекомендуемый размер выборки и, в завершение всего, применимость тестов хи-квадрат к анализу воронок.

Очень понравилась структура статьи, все как в лучших домах. В частности, культура аргументации: на каждый тезис есть или пример, или симуляционный эксперимент и/или ссылка на CrossValidated и аналогичные ресурсы, где преимущественно разбирается математическая часть. Ссылки, наверное, самое важное для меня в этой статье, следом идет код экспериментов.

Тем не менее, кто-то из хабражителей оставил комментарий, с которым я, признаться, согласен: "ощущение, что это пятая статья из цикла. Напишите, пожалуйста, первые четыре". Действительно, статью можно было разделить на несколько частей, а кое-что даже и сократить.

Ряд пунктов вызвал некоторое сомнение. По большей части это блоки, касающиеся мощности тестов. Так, тезис "если в ячейке меньше 5 наблюдений, то можно просто умножить таблицу на нужное число" сразу навевает мысли о p-хакинге, мы так в студенчестве баловались. В параграфе про размер выборки также есть фраза "с ростом размера выборки статистика растет линейно, при этом p-value стремится к 0 и рано или поздно тест покажет статистически значимые отличия при исходных пропорциях". Кажется, что это очевидно, что с ростом выборки растет мощность и даже самые маленькие различия в какой-то момент могут быть признаны значимыми, просто потому что так сконструирован тест. Собственно именно поэтому в классическом анализе мы определяем размер эффекта и рассчитываем необходимую выборку при заданных мощности и значимости.

Блок про анализ воронок масштабный (с трудом продрался через него, честно говоря) и достоин отдельной статьи. Хи-квадрат как критерий согласия позволяет сравнивать категориальные данных больше чем 2*2 и это можно использовать при сравнении воронок, особенностям такого анализа и посвящен весь этот блок. Однако сама задача вызывает у меня некоторое недоумение. Зачем сравнивать воронки целиком, когда проще и нагляднее сравнить именно конверсию в какой-то конкретный шаг? Нас же обычно интересуют конкретные шаги и точечные изменения в воронках.

Всегда интересно, о чем думают коллеги по цеху. Аналитики в геймдеве почему-то очень скрытные. В целом же статья лично для меня стала прекрасной иллюстрацией, что если что-то придумал -- делай сразу. Я года полтора-два назад хотел своим коллегам на каком-нибудь R&D-дне рассказать про хи-квадрат, но много откладывал. В результате Вячеслав "успел раньше". Что ж, как минимум, я теперь смогу опираться на его, бесспорно, богатый материал.

#stats