В A/B-тестах специалисты часто имеют дело с такими метриками-отношениями, как CTR. Как нужно сравнивать такие метрики в группах: все клики поделить на все показы или взять CTR по каждому юзеру и усреднить? А может что-то другое?

На следующей неделе Ян Пиле, руководитель группы аналитики поиска Mail.ru, разберет подход к расчету тестов на CTR с помощью учёта внутрипользовательских корреляций для формирования UMVUE (uniformly minimum-variance unbiased estimator) равномерной несмещенной оценки с минимальной дисперсией.

На вебинаре «A/B-тесты с метриками-отношениями и при чём здесь внутрипользовательские корреляции» посмотрим:
● Как при тестировании CTR повысить чувствительность метрики с помощью правильного выбора весов 
● Как выглядит схема проверки корректности статистического теста (контроля false positive rate c помощью p-value) на модельных данных
● Как использовать полученные с помощью UMVUE веса в других статистических тестах

На этот раз встречаемся во вторник, 8 июня в 19:30.

Ссылка на регистрацию