TGViewer
Channel Public Channel
AB тесты и все вот про это вот все

AB тесты и все вот про это вот все

@abtesting_full

Полезная информация об A/B тестировании. По любым вопросам можно писать - @ealexandr
Open in Telegram
Subscribers
1.87K
Photos
26
Videos
1
Links
258

Showing posts older than #147 · Back to latest

Older Posts 20 shown
Post #143 234

Forwarded from GoPractice!

Новое эссе на GoPractice!

“Как в Flo повысили долю успешных A/B тестов на 30% через внедрение нового процесса работы с гипотезами”

Дима Золотухин, Head of Analytics Flo (мобильное приложение № 1 в сфере женского здоровья), делится тем, как они повысили долю успешных экспериментов в компании на 30% через упразднение монополии на формулирование гипотез, а также введение эффективных процессов их приоритизации и тестирования.

Внутри вы найдете шаблон для формулирования гипотезы, алгоритм приоритизации, а также ряд других полезных артефактов, чтобы перенести опыт Flo на свою команду или компанию.

https://gopractice.ru/how_to_increase_the_number_of_successful_experiments/

Обсудить прочитанное можно в чате Ask Kevin! https://t.me/askkevin
GoPractice ᐈ Приоритизация гипотез A/B-тестов и прокси метрики - GoPractice ✓ Приоритизация гипотез, прокси метрики в A/B-тестах — кейс команды Flo. Head of Analytics Flo Дима Золотухин
Post #140 233
Завершил изучение 1 модуля курса по A/B тестам от devtodev. Хоть они про игры, но принципы и логика работы, подготовки и проведения тестов едины.
1 модуль посвящен подготовке теста: работа в гипотезами, планирование, дизайн эксперимента, определение выборки и сроков.
Как вводная часть очень даже нормально - информация доступна, достаточно подробно. И куча крутых дополнительных материалов.
Post #139 222
Важное напоминание при выборе метрик для A/B теста. Должна быть только одна главная метрика, на основании сравнения которой по тестовой и контрольной группам мы будем принимать решение об успешности или неуспешности эксперимента.
Остальные метрики должны могут быть только вспомогательными, они помогут понять, за счет чего главная метрика изменилась.
И никаких разговоров типа "у меня четыре показателя лучше а один хуже", конечно, не может быть.
Post #138 416
Видео с AIC. Analytics Day 2017:

Искандер Мирмахмадов, AIC. А/Б-тестирование “быстрых”, но сложных в реализации гипотез: https://vimeo.com/211087235.
Владислав Исмагилов, Яндекс. А/Б-тестирование в Яндекс.Маркет: https://vimeo.com/211085679.
Виталий Черемисинов, AIC. Принципы А/Б-тестирования: https://vimeo.com/211083513.
Виктория Гончарова, Avito. Когда не нужно проводить А/B-тесты: https://vimeo.com/211080787.
Александр Сергеев, Едадил. Почему полезно проводить разборы сессий: https://vimeo.com/211079157.
Айгуль Юльякшина, Lamoda. Почему статистическая значимость теста — это еще не победа: https://vimeo.com/211075624.
Post #135 194

Forwarded from A/B testing

A/B-тесты - не единственный инструмент для понимания причинно-следственной связи: квазиэксперименты и контрфакты - альтернативные инструменты для причинного вывода:
https://medium.com/data-shopify/how-to-use-quasi-experiments-and-counterfactuals-to-build-great-products-487193794da

via @ABtesting
Medium How to Use Quasi-experiments and Counterfactuals to Build Great Products A/B tests aren’t the only tool to understand causality: quasi-experiments and counterfactuals are powerful tools for causal inference.
Post #134 189

Forwarded from Trisigma — про эксперименты

Дисбаланс в A/B-тестах. Есть ли разница между 99/1 % и 50/50 % в экспериментах?

Провели небольшое исследование и написали статью про несбалансированные A/B-тестирования. Как оказалось, проводя A/B на несбалансированных выборках, существенно возрастает вероятность упустить значимые различия, если они есть. В статье представлены результаты анализа и наши мысли на этот счет

Читать статью на Медиуме
Post #133 195

Forwarded from Аналитика. Это просто

Прямо сейчас Анатолий Карпов ведет вебинар по статистическим методам: https://www.youtube.com/watch?v=-zps6hm0nX8&feature=youtu.be
YouTube Карта статистических методов - bootstrap VS t - test | Вебинар Анатолия Карпова | karpov.courses Курс «Аналитик данных»: https://bit.ly/3UeT8yj Продолжаем серию вебинаров по статистике! Все мы знаем, что статистика — штука настолько многогранная, что одну и ту же гипотезу можно проверить абсолютно разных способами, и наоборот — использовать один метод…
Post #131 219

Forwarded from Интернет-аналитика // Алексей Никушин (Алексей Никушин)

Новые материалы по А/B-тестированию. Открываем доступ к докладам из секции про эксперименты на Матемаркетинге-2019. В 2019 году у нас было 7 тем, посвященных экспериментам

= = = =
Ближайшая конференция — Матемаркетинг-2020 — состоится 9-13 ноября в формате online
Программа конференции
Все подробности: https://matemarketing.ru
= = = =

Игорь Яшков из Яндекс.Поиска научил валидировать и развивать метрики
Валерий Бабушкин из Х5 Retail Group научил ускорять сотни А/Б-тестов в десятки раз
Дарья Чиркина из Яндекса привела практические кейсы построения аналитической инфраструктуры в небольших интернет-компаниях.
Искандер Мирмахмадов из EXPF научил увеличивать чувствительность метрик
Анатолий Карпов рассказал о том, как сделать так, чтобы А/В-тестирование заработало
Максим Сергеев из Яндекс.Еды рассказал о marketplace efficiency в Яндекс.Еде
Данила Леньков из Avito рассказал об инфраструктуре A/B-тестирования в Avito для централизации обработки результатов экспериментов.

= = = = =
В 2020 году у нас новые темы, посвященные экспериментам

Дмитрий Гущин, co-founder Stereo7 - Эксперименты в мобильных приложениях
- проблемы с А/В-тестами специфичные для мобильных приложений.
- как неправильно считать деньги в А/В-тестах.
- как правильно считать деньги в А/В-тестах.
- как запускать много А/В-тестов. Кейсы.
Эмели Драль, CTO Evidently AI - Генерация и проверка сильных гипотез, А-А/А-В-тесты
- как отобрать лучшие гипотезы-кандидаты для проведения теста?
- как оценить оптимальный размер группы?
- как оптимизировать длительность теста?
- как убедиться в корректности разбиения?
- как отличить краткосрочный эффект от продолжительного?
+ чек-лист по разработке дтизайна и проведению АБ тестирования.
Виталий Черемисинов, Experiment Fest - блиц-формат на тему как искать прокси метрики в продуктах
Олег Хомюк, Head of R&D Lamoda - блиц-формат про применение методов data science в экспериментах, проверке гипотез в e-commerce и смежных темах.
Игорь Полянский, Head of Analytics Gett - Быстрая приоритезация UX-гипотез
Разбираем проблемы развитой продуктовой аналитики (низкая значимость фичей и их кумулятивное влияние). Кейс Gett: LightGBM с SHAP interpreter для множественное проверки гипотез, результаты, learnings. Делаем разбор применения метода для других метрик, “за” и “против”.
= = = = =

Полная программа конференции: https://bit.ly/3iMiT6Z

@internetanalytics
Post #130 418
Отличный разговор про проведение AB тестов Анатолия Карпова и Никиты Маршалкина из VK: https://www.youtube.com/watch?v=gljfGAkgX_o
YouTube Никита Маршалкин: A/B-тесты сложнее, чем кажется | Интервью | karpov.courses Симулятор A/B-тестов: http://bit.ly/40uPpjt У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно: ● как работают системы сплитования; ● работают ли обычные статистические тесты на Big Data…
Post #129 214

Forwarded from Datalytics

Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов

https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a
Medium Why you should try the Bayesian approach of A/B testing The intuitive way of A/B testing. The advantages of the Bayesian approach and how to do it.
Post #128 234

Forwarded from Аналитика. Это просто

Bootstrap - один из интереснейших методов анализа A/B тестов. На мой взгляд, он недооценен и не так широко применяется, как мог бы.
Немного полезностей про использование bootstrap для A/B тестов:

Текст про процентильный bootstrap: https://bit.ly/32gIr4W
Пример проверки проведенного АА-теста с помощью bootstrap: https://bit.ly/2EyXC0Z
Рассчитываем канибализацию трафика спомощью A/B-теста и метод bootstrap: https://bit.ly/3hrfwl9
И видео:
Разбор метода: https://bit.ly/3gp8T1e
Запись недавнего стрима от ExperimentFest, куда же без них: https://bit.ly/3jaVUC2

#abtest
basic statistics the percentile bootstrap Update: more in depth coverage is available in this tutorial, including R code: A practical introduction to the bootstrap: a versatile method to make inferences by using data-driven simulations Pre…
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →