Beyond Power Analysis: Metric Sensitivity in A/B Tests

У Майков пару дней назад вышла новая статья про оптимизацию чувствительности метрик!

В статье описываются уже известные методики по работе с метрикой (например, логарифмирование или использование техники сокращения дисперсии), но зато коротко, ясно и понятно. Помимо этого, в статье описано то, как вы можете использовать исторические эксперименты для получения знаний о направленности метрики.

https://www.microsoft.com/en-us/research/group/experimentation-platform-exp/articles/beyond-power-analysis-metric-sensitivity-in-a-b-tests/