AB тесты и все вот про это вот все

Ratio-метрика

Что такое ratio-метрика? Это такой показатель, где мы хотели бы взять отношение одной числовой переменной к другой. Знакомые всем метрики: клики на пользователя, просмотры страниц на сессию, сессии на пользователя – все это метрики отношений. Они не просты на первый взгляд. Может показаться, что их позволительно считать так же, как и Бернулли 0;1, но, конечно же, это не так. Мы теряем информацию об исходных данных, вгоняя итоговое ratio в стат. критерий (10000/100 = 100 для нас не совсем то же самое, что и 100/1 = 100). Чтобы учесть наследование информации об исходных данных, рекомендуется применять следующие методы анализа:

- Дельта метод (Delta method) для расчета дисперсии

- Линеаризация от Яндекса позволяет сохранить поюзерную направленность у метрики для дальнейшей работы по оптимизации ее дисперсии (при помощи CUPED, например)

- Bootstrap. Много упоминаний про него по ссылкам выше.

Код на Python и R для самостоятельной работы можно найти по ссылкам:
https://notebooks.azure.com/alexdzero/projects/dmforce
https://core.ac.uk/download/pdf/144820658.pdf
https://migariane.github.io/DeltaMethodEpiTutorial.nb.html#the_bootstrap

Как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости: https://www.youtube.com/watch?v=KswPj6MVvD4

via @ProductAnalytics

Как оценить качество системы A/B-тестирования:

https://habr.com/ru/company/hh/blog/321386/

via @ABtesting

Эксперимент

Завтра в 14:00 по Московскому времени мы предлагаем всем вместе посмотреть лекцию Анатолия Карпова, с которой он выступал на Матемаркетинге-2019.

Анатолий рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.

Добавьте напоминание себе в календарь

По окончании трансляции в закрытом чате появится ссылка на Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада.

Ссылка на telegram-чат (будет удален по окончании лекции)

@internetanalytics

A/B тестирование — это неотъемлемая часть работы над продуктом. С его помощью можно проверить гипотезу о том, поменяется ли выбранная продуктовая метрика, если изменить что-то в продукте, — например, увеличится ли количество пользователей, если изменить дизайн страницы регистрации. Для этого сравниваются результаты в тестовой и контрольной группах пользователей: первой выборке показывают новое решение, а у контрольной группы продукт остаётся неизменным.

При этом важно проверить, будет ли изменение статистически значимым: подтвердить, что наблюдаемая разница у тестовой и контрольных групп действительно связана с нововведениями в продукте, а не является случайностью. Для этого можно применять традиционный (частотный) или байесовский подход к A/B тестированию. У обоих методов есть свои сторонники и противники, но байесовский подход позволяет проще визуализировать данные и интерпретировать результат эксперимента. Академия Яндекса перевела статью из блога Towards Data Science о том, как провести байесовское A/B тестирование и разобраться в его работе.

https://academy.yandex.ru/posts/prostoy-gid-po-bayesovskomu-a-b-testirovaniyu-na-python

Материалы

Материалы с прошедшей лекции по бутстрапу 15.04.2020

Скачать презентацию и R скрипт можно здесь
Запись стрима лекции на ютубе здесь

Оценка качества систем сплитования

Если составить рейтинг того, про что забывают при проверке гипотез или разработке новых метрик - то A/A тесты войдут в топ 3.
A/A тесты требуются не только для проверки качества систем сплитования, но и для выбора метрик.
Не каждая метрика подходит для экспериментов в силу своих описательных особенностей.

Очень доступная статья про то, как проверить качество своей системы a/b тестов - https://habr.com/ru/company/hh/blog/321386/

Хороший гайд по Байесовскому А/В-тестированию:

https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a

via @ABtesting

Team-draft interleaving

Концепция Team-draft interleaving тестов звучит достаточно просто.

Представьте, что вы хотите проверить новый алгоритм ранжирования товаров в каталоге интернет-магазина.
Вместо того, что сравнивать два разных алгоримта на разныых ветках эксперимента - вы покажите пользователю сразу два алгоритма одновременно. Например, каждый второй товар - один алгоритм,каждый третий товар - другой алгоритм. Такой подход к эксперименту позволит невелировать ряд продуктовых факторов, которые будут влияться на его исход.

К этой методологии часто прибегую поисковые системы, чтобы лучше и быстрее оценивать качества новых поисковых алгоритмов.
На что важно обратить внимание
1) Ваши выбрки не независимы - пользователь находится сразу в двух ветках эксперимента. В этом случае дисперсия случайной величины будет считаться не как на независимых выборках и это будет сказываться на методах оценки эксперимента
2) Важно учитывать расположение выдаваемого алгоритмом результата - приоритет выдачи может сильно сказываться на исходах эксперимента

Чтобы лучше разобраться в этой методологии мы предлагаем почитать/посмотреть несколько материалов

1) Как к TDI подходит Netflix - статья без технических и математических нюансов
https://netflixtechblog.com/interleaving-in-online-experiments-at-netflix-a04ee392ec55

2) Paper с описанием статистической части метода от MS, Yahoo и Cornell University
https://www.cs.cornell.edu/people/tj/publications/chapelle_etal_12a.pdf

3) Очень доступный доклад от Романа Поборчего на AIC Analytics Day
https://www.youtube.com/watch?v=voY7waRb_D0

Коррекция дисперсии при bootstrap

При работе с bootstrap часто возникает необходимость работать с bias/varience reduction.

Почему это важно?

Большинство аналитиков используют непараметрическую модификацию bootstrap'а, т.е. не берут в рассчет статистику популяции. Непараметрика может давать достаточно большой bias, а коррекция bias приводить к увеличению дисперсии. Проблемы известны, но вот решения очевидны не всегда.
Прекрасный материал на данную тему от Japan Institute of Statistical Mathematics
https://www.ism.ac.jp/editsec/aism/pdf/062_1_0209.pdf

EXPF 15 апреля в 20-00 проводит бесплатную онлайн лекцию про Bootstrap
Если вы используете bootstrap/планируете использовать/не знаете что можно использовать и хотите узнать больше про особенности, ограничения и возможности – лекция будет вам очень полезна
Про что поговорим на лекции
- Какие есть ограничения использования bootstrap
- Чем параметрический bootstrap отличается от непараметрического
- Почему boot распределение нельзя «скармливать» статистическому критерию
- Как сделать так, чтобы bootstrap был не таким прожорливым
https://price-discovery.timepad.ru/event/1293731/

​​Tripadvisor и модификация CUPED


Мы уже писали выше, что многие компании всячески пытаются найти новые способы увеличения чувствительности метрик за счет оптимизации дисперсии.

Это нужно для увеличения скорости принятия решений по результатам a/b тестов.
В статье Tripadvisor подробно рассказывает про то, какие методы они используют у себя. Отдельно хочется обратить внимание на то, какую модификацию CUPED они предлагают.
Вместо ковариации используется коэффициент детерминации.

Их цитата про модификацию
"A nice benefit of using CUPED is that the resulting R-squared from the centered regression can be interpreted as the percentage variance reduction achieved compared to the normal method (Deng et. al, 2013). In other words, the more accurately we are able to predict the outcome metric using pre-experiment data, the greater the variance reduction. It is also a convenient way to calculate the variance on the estimator."

Это действительно будет работать, если вы хорошо подобрали переменные (потрали значительное время на исследование). В противном случае, результат не оправдает ожиданий.

https://www.tripadvisor.com/engineering/reducing-a-b-test-measurement-variance-by-30/

Про базовую реализацию CUPED можно прочитать в нашей статье

EXPF x Яндекс.Практикум. Про эксперименты

В феврале был проведен совместный митап EXPF и Яндекс.Практикум, посвященный онлайн-экспериментам. Обсуждались подходы к анализу A/B-тестирований и как они организованы в разных командах. В митапе приняли участие аналитики и руководители направлений таких компаний как: Skyeng, Avito, X5, Яндекс, Mail ru, Raiffeisen, Uma tech, EXPF

Темы митапа:
- Методы сокращения дисперсии, и зачем это нужно — Анатолий Карпов, Mail ru
- Увеличение чувствительности в A/B с помощью Cuped — Валерий Бабушкин, X5, Яндекс
- A/B тесты и как мы их готовим — Станислав Гафаров, Uma tech
- Оценка аналитиков и гайдлайны — Виталий Черемисинов, EXPF
- Как аналитику сделать API для прода и не облажаться — Александр Кучин, Skyeng
- Статистика в АБ мифы и реальность — Данила Леньков, Avito
- Как ускорить А/Б тестирование с помощью машинного обучения — Нерсес Богиян, Raiffeisen

Все видео доступны здесь
https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

Анализ ratio метрик в A/B-тестах от Ebay:

https://arxiv.org/abs/1911.03553

via @ABtesting

Начинается онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

Ссылка на трансляцию
https://www.youtube.com/watch?v=DtDGYUW0oGY
Начало в 20:00

Программа лекции https://price-discovery.timepad.ru/event/1287320/

@internetanalytics

​​Как экспериментально оценить предпочтения пользователей, чтобы понять, что менять в продукте? Как проверить свои гипотезы и какие есть инструменты для принятия решений?

1 апреля в 21:00 (мск) ребята из ProductStar проведут бесплатный интенсив: «A/B тестирование, как инструмент для принятия решений».

👨‍🏫 Кто выступит?

Настя Московченко, Technical Manager в Яндекс и Костя Чукреев, Product Machine Learning Developer в Яндекс.

👩‍🏫 О чем пойдет речь?

— Что такое А/B-тестирование?
— Как проводятся А/B тесты и как размер выборки влияет них?
— Как оценить влияние фичи на ваш продукт?
— Как быстро проводить эксперименты и сделать их частью сервиса? Опыт Яндекс.Еды.

Два самых активных участника вебинара получат сертификат на бесплатное обучение в ProductStar.

Участие бесплатное, но регистрация обязательна.

Зарегистрироваться на вебинар 👉@ProductStarAnalyticsBot

Онлайн-лекция про методы сокращения дисперсии для увеличения чувствительности метрик и сокращение времени a/b тестов.

На лекции мы обсудим
Методы трансформации данных для увеличения чувствительности метрик
CUPED и его модификации
Виды стратификаций для сокращения дисперсии

Спикеры
Виталий Черемисинов, experiment-fest
Искандер Мирмахмадов, experiment-fest

Когда - 1го апреля
Где - трансляция на youtube
Во сколько - с 20:00 до 22:00
Ссылка на трансляцию придет на почту в день мероприятия.

https://price-discovery.timepad.ru/event/1287320/

Оценка A/B тестов в Letyshops:

https://www.youtube.com/watch?v=2CN8IHy1OwU

via @ABtesting

Появились видеозаписи с Experiment Fest x Яндекс.Практикум:

https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1

via @ABtesting

10 статистических ловушек в А/Б тестировании:

https://cxl.com/blog/testing-statistics-mistakes/

via @ABtesting