A/B тесты - один из основных инструментов в продуктовой аналитике. Этот метод маркетингового исследования заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, где один или несколько показателей изменены для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Например, мы можем поменять цвет кнопки для регистрации с красного на синий и сравнить, насколько это будет эффективно.

После интервью с Никитой Маршалкиным мы собрали источники, которые он одобряет и использует в работе с A/B тестами (а некоторые даже написаны им лично!):

1. Крутая книга о том, как спланировать и провести своё первое A/B тестирование:
https://experimentguide.com

2. Подборка примеров применения A/B тестов в индустрии: как топовая литература на тему, так и интервью от сотрудников крупных компаний, применяющих A/B тесты в работе:
https://exp-platform.com

3. Пошаговый, написанный с Никитой в соавторстве гайдлайн для создания A/B тестов на языке Python:
https://medium.com/.../practitioners-guide-to-statistical...

4. Статья, описывающая как определять, комбинировать и объединять метрики (и комбинации из 2-3 метрик) с высокой прогнозирующей способностью таким образом, чтобы уменьшать их число и снижать вариативность:
research.google/pubs/pub43157/

5. Работа, рассматривающая различные подходы к планированию и созданию рандомизированных экспериментов, чтобы не получить мнимые отличия на этапе дизайна:
https://arxiv.org/abs/1404.7530

6. Краткие конспекты докладов исследователей и практиков из области анализа данных с конференции KDD 2019, где можно почерпнуть новаторские решения в планировании экспериментов для бизнеса:
https://research.fb.com/.../top-challenges-from-the.../

7. Краткое руководство как правильно выстроить работу b2c: на какие метрики необходимо смотреть и как их учитывать для улучшения работы:
https://onlineuserengagement.github.io/