Как делать А/Б тесты правильно (2 / 3) #abtesting

К этому тезису меня привело общение с разными аналитиками в кулуарах. Со сцены такое не говорят. Со сцены принято говорить как правильно, а делать минимально как работает.

Тезис два
Не так важно какой метод подсчёта стат достоверности использовать. Как следствие: не так важно какой порог достоверности использовать: 95 или 90, а может и все 80.

Во-первых, разные умные люди используют разные методы и у всех всё работает.

Во-вторых, точность почти всех методов почти во всех случаях позволяет отличить «ой как хреново мы сделали» от «вау, всё выросло в 2 раза». Это утрированный пример.

Вывод
Работайте на качеством гипотез, а не над точностью подсчёта 100500-й цифры после запятой.