Ловушка сравнения гипотез

Когда перед тобой набор измеримых гипотез, есть соблазн начать сравнивать разные подходы между собой с помощью A/B-теста. Мол это способ выбрать лучший вариант, основываясь на цифрах. Теоретически это абсолютно верный подход, но на деле A/B-тест часто выдает неадекватный вариант.

Дело в том, что сравнительное тестирование — сложная техническая задача, и мало у кого сходу получается правильно организовать процесс. В очень многих случаях тест сложно интерпретировать (плохо настроили аналитику, загрязнили данные). Но даже если получен внешне качественный результат, не факт что он статистически значим или не является следствием нарушения чистоты эксперимента. Подробнее об этих проблемах поговорим в другой раз.

#гипотезы #abтест