День продуктовых полезностей: АБ тестирование, как сделать так, чтобы понять о чем речь - поговорим о гипотезах

Как завалить на собесе продакта? задай два вопроса:
1. что такое АБ тест?
2. как математически он работает?

Многие мне возразят, зачем продакту знать как работает АБ тест. Конечно, мы же можем ездить на машине, не зная о принципах двигателей внутреннего сгорания, но есть нюанс.

Многие продакты считают себя исследователями. Говорят, что на ТЫ с данными, но так ли это? Сколько я не общался с продактами большинство из них не умеют рассуждать на уровне гипотезы, антитезы и ставить под сомнению свои выкладки.

Про мышление, мы еще поговорим, мне кажется это очень большая тема, а сегодня хотелось бы разложить по полочкам тему АБ тестов и мат аппарата, который задействован в этом вопросе. Понимаю, что не все мои подписчики помнят, изучали высшую математику и мат статистику, а если и изучали, то в основном спали на этих парах, как например я. Поэтому давайте начнем с базовых понятий.

Что такое A/B‑тестирование

А/В-тест — это всегда сравнение двух вариантов продукта (Бывают и другие варианты, но сейчас мы не будем о них).

Например, двух дизайнов интерфейса или стилей рекламного баннера. Когда проводят А/В-тест, аудиторию делят на две группы. Первой показывают старый вариант продукта, второй — новый. После эксперимента берут данные о поведении обеих групп и сравнивают их.

Часть 1. Базовые термины из АБ (на основе лекций ВШЭ - материалы по лекциям пойдут отдельным постом)

Проводя статистическое исследование, необходимо учитывать, что никакой закономерности может и не быть.

Например, когда ученый хочет найти связь между курением и раком легких, ему не достаточно найти одного курильщика, получившего (или не получившего) рак легких. Должен быть собран и проанализирован значительный объем данных, прежде чем этот ученый сможет утверждать, что между курением и раком легких существует зависимость. В исследованиях такого рода нулевая гипотеза играет ключевую роль.

Нулевая гипотеза — это, по сути, предположение, что результата — конечной цели любого исследования — не существует.

Нулевая гипотеза (H0) – утверждение о параметре генеральной совокупности (параметрах генеральных совокупностей) или распределении, которое необходимо проверить.

Нулевая гипотеза - это то, что мы хотим опровергнуть, если перед нами стоит задача доказать значимость различий.

И как бы далеко ни зашли ваши поиски взаимосвязи между курением и раком легких, нулевая гипотеза будет утверждать, что никакой такой взаимосвязи не существует. Встает вопрос, в какой момент собранных данных станет достаточно, чтобы отвергнуть это утверждение.

Если говорить о курении и раке легких, то нулевая гипотеза была исключена уже давно. Но было время, когда просто-напросто не хватало данных, чтобы ее исключить; и исследователи не могли доказать, что заболеваемость раком легких среди курящих и некурящих людей не была лишь делом случая. Только имея большой массив данных и тем самым сводя возможность случайного результата к минимуму, можно исключить нулевую гипотезу.

Альтернативная гипотеза (HA или H1) – утверждение, противоположное нулевой гипотезе.

Альтернативная гипотеза - это то, что мы хотим доказать, поэтому иногда ее называют экспериментальной гипотезой.


Понятно? Нет, давайте глубже, разберемся с настоящим примером.

⬇️⬇️⬇️⬇️