В Авито аналитику спрашивают по полной. А что делать, если в вашем стартапе её не было?

Привет! На связи Саша Часовников, продакт в Авито Спецтехнике.

У нас действительно плотно работают с аналитикой. Какую метрику выбрать и как декомпозировать? Как понять, что изменение действительно на что-то повлияло? Что делать, если основная метрика вырастет, а «защитная» просядет?

И здесь у продактов из стартапов может возникнуть проблема: в стартапе аналитику обычно не рассматривают как отдельную функцию, а где-то её может вообще не быть. Мало пользователей, события размечены наполовину, дашборд собирается вручную. В итоге вместо аналитики — обычная Excel-табличка.

В стартапах часто фокус на другом, но и аналитическая мышца сама по себе не прокачается.

У меня было примерно так же, и когда я столкнулся с более высокими требованиями к аналитике, ощущения были так себе: казалось, все вокруг выучили какой-то специальный язык, а я этот урок прогулял.

Здесь важно не ошибиться с выводом. Сигнал о том, что вам пока не хватает знаний, не означает, что вы плохой продакт. Чаще всего он означает гораздо более простую вещь: у вас не было среды, в которой эти знания требовались бы каждый день.

Это не врождённая способность и не тайный навык людей с математическим образованием, а довольно обозримый набор теории, который можно постепенно разобрать. Хорошая новость: это как раз тот случай, когда теория почти гарантированно превращается в практику.

Сначала вы читаете про доверительные интервалы, статистическую значимость и размер выборки просто потому, что спрашивают на собеседованиях. А потом обнаруживаете, что эти знания становятся нужными в разных рабочих ситуациях.

Что бы я посоветовал делать⁉️

Для начала не пытаться «выучить всю аналитику». Это слишком большая задача, поэтому лучше разбирать её по блокам:

— Продуктовые метрики. Воронки, retention, когорты, юнит-экономика, декомпозиция основной метрики.
— Статистика. Среднее и медиана, дисперсия, распределения, доверительные интервалы, проверка гипотез.
— Эксперименты. Выбор метрик, MDE, размер выборки, длительность теста, интерпретация результатов и типичные ошибки.
— Работа с данными. Хотя бы базовый SQL, чтобы не быть полностью зависимым от готовых дашбордов.

Начать можно со «Статистики и котиков» Владимира Савельева. Книга хорошо снимает первый страх перед статистикой.

После — бесплатные «Основы статистики» на Stepik. Там есть три последовательные части: от начального уровня до более сложных тем.

Чтобы закрепить теорию — симулятор управления продуктом на основе данных от GoPractice. Поможет перейти от «я знаю определения» к «какое решение нужно принять по этим данным?»

Для экспериментов — симулятор A/B-тестов от Karpov.Courses или книга Рона Кохави, Дианы Тан и Я Сюй — Trustworthy Online Controlled Experiments. Последняя уже не столько про базовую статистику, сколько про надёжные эксперименты в продуктах.

Из бесплатного ещё можно смотреть публичные разборы AvitoTech. Обратите внимание не только на формулы, но и на то, какие реальные продуктовые ограничения появляются вокруг эксперимента.

Но одних книжек недостаточно. Даже если в вашей компании прямо сейчас нет нормальной аналитики, можно брать каждую новую гипотезу и письменно отвечать на несколько вопросов:

— Какое пользовательское поведение мы хотим изменить?
— Какая метрика это покажет?
— Какие метрики не должны ухудшиться?
— Какой эффект мы считаем достаточно большим?
— Какие данные убедят запустить решение, изменить его или отказаться?

Можно разбирать таким образом уже запущенные фичи, брать продуктовые кейсы, проектировать эксперименты, которые пока невозможно провести. Можно даже попросить знакомого аналитика проверить ход рассуждений.

Со временем термины перестанут быть набором заклинаний. Вы начнёте видеть за ними обычные продуктовые вопросы: что изменилось, почему мы в это верим и насколько уверены в своём решении.

Я тоже через всё это прошёл и, пожалуй, самое неприятное — не то, что вы не знаете, что такое p-value, а то, что узнаёте о своём пробеле и решаете: аналитика просто «не для меня».