TGViewer
Channel Public Channel
A/B testing

A/B testing

@abtesting

Кращі матеріали по A/B-тестуванню

Автор: @osiyuk
Open in Telegram
Subscribers
5.62K
Photos
3
Videos
0
Links
205

Showing posts older than #133 · Back to latest

Older Posts 20 shown
Post #130 5.26K
Эксперименты бывают долгими по-разным причинам:

1. Хотим увидеть очень маленькое изменение => надо много трафика.
Это решается или подбором (1) более чувствительной метрики, или (2) исправлением самой гипотезы.
Разработка более чувствительных метрик – это долгий аналитический процесс.
Если компания/продукт уже достаточно зрелая и вышла на стадию оптимизации, то имеет смысл потратить на это время и тем самым ускорить эксперименты. Яндекс и Booking много пишут про создание синтетических метрик, которые часто являются каким-либо математическим преобразованием над исходной метрикой.
Если мы говорим про запуск нового продукта/стартапа, то надо отправлять гипотезу на доработку (делать ux-ресерчи и тестировать мокапы) или вообще отказываться от ее проверки. АБ-тест тут не подходит – это очень дорогой способ проверки гипотезы, т.к. требует наличия разработанного продукта.

2. Эффект изменения сильно отложен => долго ждать обратной связи от рынка
В SaaS одна из главных метрик – это продление подписки. Если мы говорим про готовые подписки, то и ждать результатов гипотезы нужно год.
В таком сценарии надо искать прокси-метрики, которые могут "предсказывать" отложенные метрики.
Например, наша целевая метрика – % продлений через год. Подписка продляется через Apple Store автоматически через год. Это правило платформы, которое на которое не можем повлиять.
Но у этой метрики есть зеркальная метрика – отмены подписок. Отменять подписку пользователь может самостоятельно в любое время по собственному желанию. И мы, как продукт, можем на это желание влиять. Поэтому такая "обратная" метрика будет хорошим индикатором для основной метрики.
Другой пример – возвращение пользователей в продукт через месяц (monthly retention). Неохота ждать месяц для проверки влияния на эту метрику. Тут хорошее поле для исследований данных. Очень часто количество сессий / время в приложении / retention на первый день хорошо "предсказывают" retention через месяц. Поэтому можно брать эти прокси-метрики.

3. Делаем слишком много мелких изменений в продукте и хотим оценить их суммарный эффект
В таком случае принято резервировать долгосрочную контрольную группу и через один-два квартала сравнивать с ней с новый продукт. Тут не вижу способов как ускорить. Просто нужно принимать это как есть и коммуницировать стейкхолдерам.

(с) Антон Марцен
Post #129 4.99K

Forwarded from Datalytics

Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов

https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a
Medium Why you should try the Bayesian approach of A/B testing The intuitive way of A/B testing. The advantages of the Bayesian approach and how to do it.
Post #127 10.6K
Бесплатный курс про A/B-тесты от Devtodev, рассматриваются правила работы с гипотезами: как их искать и находить, как определять приоритеты, как отбрасывать ненужные, когда A/B-тест нужен, а когда нет: https://www.devtodev.com/education/online-course/ab-tests-from-a-to-b-part1

via @ABtesting
Post #123 6.26K
А/B-тестирование в офлайн-ритейле. Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма"

https://www.youtube.com/watch?v=OZ1Ywpm4kIY

via @ABtesting
YouTube А/B-тестирование в офлайн-ритейле. Валерий Бабушкин, X5 Retail Group Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма" 18 июня 2020. Организаторы: Телеграм-канал "Цифровой директор": https://t.me/cdto2019 НТР: https://www.ntr.ai Userstory: https://userstory.ru
Post #121 7.25K
​​5 полезных Телеграм-каналов для аналитиков:

@ProductAnalytics - Шпаргалка продуктового аналитика, актуальные материалы из закладок аналитиков.

@WebAnalyst - WebAnalytics - полезная информация по веб-аналитике, повышению конверсии и анализу данных в маркетинге.

@BigQuery - Аналитика в Google BigQuery, примеры решений и SQL-запросов, инсайты, лайфхаки и советы по работе с данными.

@ABtesting - Лучшие материалы по A/B-тестированию в одном канале.

@MarkeTech - Канал о маркетинговой аналитике и применении современных технологий в digital-маркетинге
Post #115 5.27K
Виртуальное учебное пособие по A/B-тестированию в R от Elea McDonnell Feit:

Видео: https://www.youtube.com/watch?v=QXpYtM-Zlxg

Материалы воркшопа: https://eleafeit.github.io/ab_test/

via @ABtesting
YouTube A/B Testing in R with Elea McDonnell Feit A/B testing is a simple controlled experiment conducted in user experience research as part of marketing research. The randomized experiment consists of variants A and B where a change in one can influence the user experience in a measurable way. It is similar…
Post #114 4.52K
Альтеранитива A/B тестам - байесовские многорукие бандиты. Суть в том, что при обычном A/B мы льем много трафика на неоптимальные варианты и теряем в доходе и пользователях во время эксперимента. Многорукий бандит отлично подходит, когда нужно проверить эффективность большой подборки вариантов, которые не имеют серьезного принципиального отличия:

https://habr.com/ru/company/ods/blog/325416/

via @ABtesting
Post #111 1.89K

Forwarded from Product Analytics

Как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости: https://www.youtube.com/watch?v=KswPj6MVvD4

via @ProductAnalytics
Post #109 4.44K
Как оценить качество системы A/B-тестирования:

https://habr.com/ru/company/hh/blog/321386/

via @ABtesting
Хабр Как оценить качество системы A/B-тестирования Вот уже более полугода в компании используется единая система для проведения A/B-экспериментов. Одной из самых важных частей этой системы является процедура проверки качества, которая помогает нам...
Post #108 4.4K
Прямо сейчас выступление Анатолия Карпова на Матемаркетинге-2019 на тему анализа А/В-тестов (Ссылка).

Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.

По окончании трансляции в закрытом чате появится ссылка на Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада.

Ссылка на telegram-чат (будет удален по окончании лекции)

via @ABtesting
YouTube Анатолий Карпов - A/B-тестирование: как сделать так, чтобы оно заработало Совсем скоро Матемаркетинг-22, 17-18 ноября Подробности: https://matemarketing.ru/ Программа: https://clck.ru/y6jEV Купить билет: https://matemarketing.ru/ A/B-тесты - главный двигатель развития продукта. В крупных компаниях ежедневно проводятся сотни экспериментов…
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →