Перед тем, как мы нырнём в долгий разговор про АБ, закину небольшую мысль, которую всегда нужно помнить.
В исследованиях, датамайнинге и анализе тестов часто применяется метод поиска корреляций (это взаимоотношение переменных, когда изменение одной ведёт к изменению другой).
Продакты и не очень опытные аналитики любят интерпретировать корреляцию как причинно-следственную связь. Иногда это, скорее всего, так и есть — мы увеличили цену товара и его стали реже покупать. Звучит логично.
Но так бывает не всегда. Чаще как раз причинно-следственные связи не очевидны. Статистика и аналитика в целом не так уверенно справляется с поиском причинности, как бы это сделал, например, твой астролог.
Если твой банк никогда не грабили, вряд ли хорошей идеей будет уволить охранников ради экономии бюджета 🧐.
В контексте АБ это стоит помнить при выборе метрик оценки (про дизайн теста и выбор метрик мы отдельно поговорим дальше) — нельзя просто взять точку на корреляционной кривой и менять одну её составляющую, в надежде поменять вторую. А вот сформировать гипотезу на её основе можно, и даже рекомендуется.
В аналитике “официально” эта идея закреплена в законе Гудхарта:
Когда мера становится целью, она перестаёт быть хорошей мерой.
И замечании Лукаса:
Взаимосвязи, наблюдаемые в исторических данных, не могут считаться структурными или причинными.
Да, существуют специальные методы, направленные на решение этой задачи, например, мой любимый вектор Шепли, но когда твой продакт пытается вынести причинность из корреляции, всегда добавляй “но это не точно”.
И сам так никогда не делай, а то можно очень далеко уйти по ложному следу.