Подборка материалов по АБ
Цикл постов про АБ-тестирование. Пост 7

Как создать корректную методику АБ-тестирования для вашей компании в один пост, конечно, не уместить. В посте выше мы обозначили ключевые, на наш взгляд, составляющие любой методики.

А детали, нюансы и примеры использования мы обсудим 17 декабря на митапе Reliable ML по АБ-тестированию 🥳. Если вам интересна тема, то можно уже забивать место в календаре на целый день. Анонсы с программой и деталями регистрации будут чуть позже.

А в этом мы дадим обещанную подборку материалов по АБ-тестированию (большая часть - на русском языке):

- Книга Доверительное АБ-тестирование простым и понятным языком рассказывает об основах АБ для онлайна и примерах применения его в крупных компаниях. На русском языке это одна из лучших книг по онлайн-экспериментам.

- Книга Статистический анализ и визуализация данных с помощью R от Сергея Мастицкого. Это уже прям классика-классика, но статистический фундамент, релевантный АБ, дает отличный. Я, например, пришла в DS именно по блогу и книгам Сергея.

- Статьи Паши Нестерова на Хабре по офлайн-экспериментам (1, 2). Написаны давно, но настолько хорошо и понятно, что я до сих пор для объяснения каких-то частей методологии даю ссылки на них. Например, ссылку на байку про мертвого лосося для раскрытия темы вреда множественного тестирования давала, наверное, уже миллион раз. Лучше эту тему на русском не раскрыл никто.

- Practical Defaults for A/B Testing от Ronny Kohavi. Советы по выбору дефолтных значений от автора книги Доверительное АБ-тестирование.

- Caveats and Limitations of A/B Testing at Growth Tech Companies. Хорошая заметка в тему нашего цикла постов про сложности проведения АБ в компаниях и отличный ее пересказ от Артема Ерохина (у которого, кстати, отличный ТГ-канал с множеством материалов по АБ).

- Продвинутые темы в АБ можно посмотреть: в треке Валеры Бабушкина на ODS Data Fest 2020 г. (от нюансов АБ на малых данных до оптимизации метрик для контроля качества проведения экспериментов), докладах Ваагна Минасяна и Ивана Максимова про ускорение АБ-тестов, статьях Саши Сахнова о стратификации и бутстрепе (об основах АБ в оффлайне Саша, кстати, тоже классно пишет), а также о лайфхаках АБ от Авито (1, 2). Это из любимого. Из этих статей можно выйти на бесчисленное множество качественных материалов по интересующим вас нюансам в методике АБ-тестирования.

#tech #ab_testing