А/В тесты на пальцах - введение

Давно не было постов, напрямую связанных с аналитикой, поэтому сейчас начну рассказ про одну из самых непростых и глобальных задач в аналитике - А/В тестирование

Представь, что ты аналитик и у тебя есть:
- мобильное приложение (т.е. продукт), которое ты исследуешь 📱
- нереально крутая гипотеза, как этот продукт-приложение можно улучшить 🔥

Давай на примере: у тебя есть онлайн-магазин, и тебе пришла гениальная идея как-то круто поменять дизайн страницы с продажей товара, так как это сильно бустанёт твои продажи -> приведёт к увеличению прибыли 🤑
Так, мы бы могли просто разработать новый дизайн и показывать его абсолютно всем пользователям. Но есть проблема: наши субъективное мнение не всегда совпадает с истинной реальностью, а значит может получиться так, что пользователям на самом деле вообще не нравится наш новый дизайн, и это приведёт к уменьшению продаж 😭 (кратко: тебе нравится, а пользователям это нахрен не нужно)
Когда бизнес большой, такие ошибки могут стоить очень дорого. Отсюда и появляется главный вопрос: а как нам понять, что наше изменение действительно скажется положительно? Или более глобально: действительно ли наша гипотеза работает?

- Так давайте спросим пользователей! Они же знают, понравится им или нет...
Но в этом решении тоже есть большие проблемы:
1) Не всем пользователям понравятся лишние опросы (кратко: пользователям нахрен не нужны твои опросы, они хотят кайфовать от приложения)
2) Пользователи знают, что их спрашивают, и от этого могут солгать.
3) Пользователи сами не знают, чего хотят. А если и знают, то могут сильно ошибаться (например, в детстве ты хотел стать космонавтом, но что-то поменялось и теперь ты не видишь себя в скафандре, но ведь в детстве ты не врал и действительно того хотел)

Теперь можешь подумать над тем, как бы ты решал эту задачу - так ты сильно прокачаешь себя в решении подобных бизнес-кейсов, а также лучше подготовишь себя к правильному ответу ☺️

- Так где же правильный ответ?
- Через 5-7 дней я допишу пост про то, как действительно решаются такие задачи с помощью так называемых "A/B тестов"

А сейчас можешь почитать в канале Сергея Романова (product-lead в Тинькофф) пост про то, как решаются такие задачи с точки зрения менеджмента. В том же канале можно узнать, как можно развивать лидерские качества, а также почитать про развитие продукта на реальных кейсах. И вот тогда ты будешь полностью готов узнать красивое аналитическое решение этой задачки 🔝

Отправляй пост друзьям и заходи в комменты: там я привёл пару примеров, как правильные A/B тесты помогают существенно улучшить продукт 📈