AB тесты и все вот про это вот все

Запускаем A/B-тест в Метрике: чек-лист с инструкцией и примером

В Метрике появился новый инструмент для проведения экспериментов на базе технологии Varioqub. С его помощью можно сравнивать несколько вариантов посадочной страницы или отдельных элементов сайта и принимать решения на основе данных.

Мы сделали для вас полезный чек-лист с инструкцией и примером, как настроить первый A/B-тест и ничего не упустить. Забирайте, чтобы повторить в своём проекте.

👉 Скачать чек-лист

При проведении AB тестов мы беспокоимся про пересечения нескольких экспериментов, опасаясь из взаимного воздействия друг на друга. Иногда встречается и такое, что продуктовые команды не проводят более одного эксперимента одновременно.
В статье автор настаивает на том, что проводить много пересекающихся экспериментов не только не страшно, но и правильно.

Понимание, что такое A/B тесты и как их правильно проводить, одно из главных требований к продуктовому менеджеру, продуктовому аналитику, аналитику данных.

В свое время для подготовки к собеседованиям собрал список того, что должен знать. Также дополнял этот список. Получившийся список закрывает большинство вопросов, которые могут задать нам на собеседовании. И полноценный ответ на них значительно повысит шансы на успешное трудоустройство. 🫵

Собственно, список.

Всем привет!
Снова в будни после выходного - считаю, несправедливо, что на женский день меньше выходных, чем на мужской.

Как и обещал, загрузил на гитхаб yupiter notebook с расчетом децильного бутстрапа.
Все измерения в выборках делятся на децили и бутстрап делаем на каждом дециле по отдельности. Это позволяет понять, в каких децилях мы получили (или не получили) стат. значимые отличия.

Например, на датафрейме, который лежит там же, мы видим, что в первых трех децилях победил 1 вариант, в остальных - 2. Это и обеспечило суммарную победу варианта 2.

Собираю в github свои скрипты, которые писал для работы с A/B тестами.
А именно:
- расчет продолжительности эксперимента
- расчет p-value Хи-квадрат
- расчет p-value Т-тест
- расчет p-value Манна-Уитни
- бутстрап, по-умолчанию сравниваем средние

Все находится здесь.
Через некоторое время собираюсь сделать и децильный бутстрап.

Буду благодарен обратной связи, если где-то ошибся или что-то непонятно / неочевидно.

Обнаружил на днях, что у меня скопилось несколько неплохих гайдов по проведению A/B тестов. Они отлично подходят для первичного погружения:
- https://towardsdatascience.com/how-to-a-b-test-without-spending-a-dime-60c4112f8f4e
- https://habr.com/ru/company/boodet_online/blog/498688/
- https://medium.com/mlearning-ai/a-b-testing-result-analysis-using-python-beginners-guide-7a6562933f7
- https://www.carrotquest.io/blog/ab-tests-guide-2/
- https://tilda.education/articles-yourfirstabtest
- https://goldinlocks.github.io/Introduction-to-A-B-testing-in-python/

В блоге Ламоды вышла статья про расчет размера выборки для бутстрапа, с примерами кода. Не встречал, чтобы кто-то делал такие расчеты ранее.
Заходим, читаем, начинаем использовать бутстрап. Ссылка

А вот и запись вчерашнего митапа Озона по A/B-тестам - https://www.youtube.com/watch?v=ly-pqx1P34k. Внутри много интересного.
Какая-то странная "озонная" тенденция здесь, так уж получилось.

В свежей статье Ozon разбирает несколько распространенных ошибок при проведении экспериментов и как их можно избежать.
https://habr.com/ru/company/ozontech/blog/712306/

Как-то неожиданно Google закрывает Google Optimize, в том числе 360. Пока пишут, что уже с 30 сентября. Допускаю, что несколько позже. Ссылка на новость.
Не перестаем радоваться, что у Метрики будет Вариокуб, аналогичный сервис. И все же как-то грустно - Google Optimize отлично подходит для небольших A/B -тестов.

Дополнил список курсов по A/B тестам.
Продолжаю вот этот список из канала Продакт аналитикс https://t.me/productanalyticsfordummies/202

Ловите приглашение на
📌Ozon Tech Community A/B-testing Meetup 📌

25 января, 17:30
Офис Ozon, Москва Сити
offline | online

Кто о чём:

👨‍💻 Игорь Моисеев, аналитик-исследователь.
Об ошибках анализа и невалидных выводах по экспериментам.

👨‍💻 Антон Ермилов, руководитель группы разработки «Стенды метрик».
О создании централизованной системы аналитики, ошибках и проблемах в ней.

👨‍💻 Евгений Пак, руководитель отдела «Инструменты А/В-тестирования и стенды метрик».
О факапах при создании А/В-платформы.

👨‍💻 Александр Толмачев, руководитель службы аналитики Ozon Fintech.
О процессах А/В-тестирования в больших компаниях и связанных с ними проблемах.

👨‍💻 Вячеслав Коськин, старший менеджер по продукту в отделе «Инструменты А/В-тестирования и стенды метрик».
О сложностях, которые возникают у менеджеров в процессе тестирования.

Чтобы пообщаться лично, выпить кофе со спикерами и попасть на afterparty, нужно зарегистрироваться.

Чтобы получить ссылку на трансляцию — та же схема. Ссылок хватит на всех 🙂

#ozontech_meetup

На днях пересмотрел вебинары по бутстрапу (не могу скрывать симпатию к методу):
- от Искандера Мирмахмадова из EXPF - https://www.youtube.com/watch?v=8CMV5cK83ns
- от Анатолия Карпова - https://www.youtube.com/watch?v=-zps6hm0nX8

На два момента хочу обратить отдельное внимание:
1. Размер подвыборки делать таким же, как размер группы. Даже если у нас неравное деление пользователей, хоть и 90/10. Об этом на вопрос отвечал Анатолий после вебинара и пишется в статье https://ocw.mit.edu/courses/18-05-introduction-to-probability-and-statistics-spring-2014/resources/mit18_05s14_reading24/
2. Не нужно рассчитывать p-value по распределениям, получившимся в результате работы бутстрапа, так как измерения в них не независимы - забираются из одной и той же выборки и содержат повторы. Об этом говорил Искандер.

Возвращаемся из спячки.
Ухудшающий A/B тест - очень интересный инструмент проверки гипотез. Такие эксперименты, кажется, проводятся очень редко и материалов по ним маловато. Обычно в статьях про A/B тесты мы находим лишь упоминание о том, что это такое.
Беглым поиском нашел только одну более-менее подробную статью с разбором ухудшающих A/B тестов - https://gopractice.ru/data/ab-test/.
Наверное, они и правда недооценены и есть смысл работать с ними чаще.

А зачем нам нужен чек-лист для проведения эксперимента?

Сейчас пытаюсь посчитать результаты одного эксперимента. Все никак не сходится:
- деление трафика 95/5
- целевая метрика не была выбрана до запуска
- продолжительность не определена заранее
- критерии вердикта, соответственно, также не определены
- и др.

Кажется, собрал минус флеш-рояль. После наших дорогих праздников будем встречаться, разговаривать о том, что такое не может повториться и до запуска продакт-менеджеры обязательно должны обсуждать это все с аналитиком.

И снова вспомнил про чек-лист (про него, видимо, также поговорим), повторно сюда прикладываю - ссылка

Интересно, насколько до сих пор Google Analytics остается верным своим сессиям. Да, скоро GA4 будет доминировать, но на дворе почти 2023 год, и мы продолжаем в отчетах GA UA смотреть в Ecommerce конверсии в сессию с заказом.
В Google Optimize видим ту же картину. Если в качестве целевой конверсии укажем транзакцию экоммерса, он нам в отчетах будет показывать все ту же конверсию в сессию с заказом. Самый лучшие вариант - если у нас есть BigQuery и сырые данные, на них можно все пересчитать по пользователям. Ведь у нас сессий с заказом может быть много, а сессии - совсем не независимые измерения. Конечно, в этом случае нам нужно считать пользователей (но не сессии) и в сегментах теста, и достигших целевой конверсии (в нашем случае, совершивших заказ).
Ну вот, на корпорацию добра набросил. Бывает...

На митапе Аслан Байрамкулов расскажет про библиотеку для A/B тестов Ambrosia. Можно подготовиться к докладу, почитать про нее здесь - https://habr.com/ru/company/ru_mts/blog/700992/

Уже в эту субботу, 17 декабря, состоится Data Ёлка от ODS. В программе в том числе обширный митап по A/B тестам с большими гостями
Ссылка на страницу мероприятия