После редизайна: метрики вовлечения

Недавно сидели с моим аналитиком Пашей и обсуждали дизайн очередного а/б теста. Говорили за метрики: какие нужно отслеживать и какой вес присвоить показателям, когда будем подводить итоги. Паша сказал клевую штуку про метрики вовлеченности, что они первое время вырастут у нового варианта интерфейса, а потом просядут со временем. Поясню.

Что такое метрики вовлеченности

Метрики вовлеченности - время на странице, доскролы, взаимодействия, в общем все то, что показывает интерес пользователя к продукту.

Почему вырастут на тесте

Все новое интереснее, чем то, что уже существует, то, к чему мы уже привыкли. Часть аудитории, которая попадет в тестовый (новый) вариант продукта, с большей долей вероятности будет изучать обновление, тыкать, щупать, просматривать.

В итоге, вы увидите рост по метрикам в первое время. Но, после того, как пользователи "привыкнут" эти метрики немного просядут, вернее - сбалансируются.

И что нам с этого

Да то, что когда планируете а/б тест, как мы с Пашей, учитывайте этот фактор и вес метрик вовлеченности. Чтобы потом, когда тест закончится и вы будете принимать решения, катить или не катить новый вариант, не попасть в ловушку.

Что делать то, умник

Найти метрику более высокого порядка, более важную. Мы же планируем изменения, чтобы какие-то бизнесовые метрики повысить, а не просто "сделать красиво", так? Берите средние чеки, выручку, ltv (если тест позволит по сроку) и смотрите прежде всего на них.

Дальше можно смотреть на метрики второго порядка - вовлеченности. Так вы увидите полный контекст эксперимента и сможете принять взвешенное решение.

Но ведь не для всех тестов надо так упарываться

Верно. Штука, о которой молвил выше, скорее про крупные изменения и редизайны сущностей порядка: карточка товара, главная страница, корзина, личный кабинет.

Для мелких изменений типа перекрасили кнопку или поменяли иконки с текстами, метрики вовлеченности не будут так колебаться и смотреть в широком контексте на тест не нужно. Упоритесь. Здесь по классике - возьмете 2-3 метрики, проведете тест и посмотрите, что с ними стало.

На ход ноги

Интересные штуки вскрываю походу своей работы, особенно с а/б, потому как их становится все больше и больше. Буду делиться наблюдениями, если еще чего нарою.

А вы можете поделиться со мной своими в комментах, за это не заругают. Пишите какие сложности были с экспериментами и как решали. Получится полезный тредик для меня и всех подписчиков канала.

#продуктовыеметрики