​​Tripadvisor и модификация CUPED


Мы уже писали выше, что многие компании всячески пытаются найти новые способы увеличения чувствительности метрик за счет оптимизации дисперсии.

Это нужно для увеличения скорости принятия решений по результатам a/b тестов.
В статье Tripadvisor подробно рассказывает про то, какие методы они используют у себя. Отдельно хочется обратить внимание на то, какую модификацию CUPED они предлагают.
Вместо ковариации используется коэффициент детерминации.

Их цитата про модификацию
"A nice benefit of using CUPED is that the resulting R-squared from the centered regression can be interpreted as the percentage variance reduction achieved compared to the normal method (Deng et. al, 2013). In other words, the more accurately we are able to predict the outcome metric using pre-experiment data, the greater the variance reduction. It is also a convenient way to calculate the variance on the estimator."

Это действительно будет работать, если вы хорошо подобрали переменные (потрали значительное время на исследование). В противном случае, результат не оправдает ожиданий.

https://www.tripadvisor.com/engineering/reducing-a-b-test-measurement-variance-by-30/

Про базовую реализацию CUPED можно прочитать в нашей статье