Концентрированная мудрость о менеджменте продуктов и построении команды.
Рекламу не делаю, но участвую в коллабах.
Папка: https://t.me/addlist/YvmnHCHUp700Nzky
http://ritov.ru
Max: https://max.ru/product_proverbs
РКН: https://clck.ru/3N9m9V
Post #192
3.36K
133. Как проводить опросы
Продуктовые команды постоянно создают что-то новое, экспериментируют. Конечно, лучше делать выводы на основании численных метрик: MRR, ARPPU и т.д. Но бывают случаи, когда метрики не показательны и приходится опираться на отзывы пользователей. Например, мы решили изменить внешний вид главной страницы: для новых пользователей хорошей метрикой будет количество первых платежей, а для старых – Churn Rate + отзывы. Можно выкатить новую версию на 10% старых пользователей и понять, как сильно они будут ругать или хвалить новый дизайн. Расскажу, как я провожу такие опросы.
Сначала дать попробовать. Бессмысленно спрашивать пользователей до того, как они распробовали новинку. Конечно, они могут написать в любой момент. Но баннер с вопросом мы проактивно показываем только через несколько дней.
Оценка + текст. Можно спрашивать мнение пальцем вверх/вниз или пятью звездочками, но я люблю градацию из трех вариантов: нравится / не нравится / нейтрально. Погрешность таких голосований очень высокая, поэтому мы просим написать комментарий. Комментарии более показательны и точны.
Критерии успеха заранее. Важно определиться с критерием успеха до начала эксперимента. Задайте себе вопрос: «Если 50% пользователей будут ненавидеть новую версию, мы оставим ее?» Если ответ отрицательный, то попробуйте уменьшать цифру до тех пор пока вы и ваши стейкхолдеры не согласятся, что, к примеру, 30% негативных отзывов вполне приемлемы. После этого определите минимальный порог количества участников. К примеру, я решил, что если в опросе участвовали менее 1% пользователей, то я вообще не смотрю на долю негативных отзывов.
Подключайте разные источники. Чтобы собрать больше отзывов, мы использовали разные источники: баннер на странице, чат-бот, группу в Фейсбуке, обращения в саппорт.
Отрабатывайте негатив в личном порядке. Всегда будут недовольные пользователи. Я люблю общаться с ними в личной переписке и специальной закрытой группе в Фейсбуке «для своих». Это гораздо лучше для PR, чем публичные набросы в Твиттере.
Продуктовые команды постоянно создают что-то новое, экспериментируют. Конечно, лучше делать выводы на основании численных метрик: MRR, ARPPU и т.д. Но бывают случаи, когда метрики не показательны и приходится опираться на отзывы пользователей. Например, мы решили изменить внешний вид главной страницы: для новых пользователей хорошей метрикой будет количество первых платежей, а для старых – Churn Rate + отзывы. Можно выкатить новую версию на 10% старых пользователей и понять, как сильно они будут ругать или хвалить новый дизайн. Расскажу, как я провожу такие опросы.
Сначала дать попробовать. Бессмысленно спрашивать пользователей до того, как они распробовали новинку. Конечно, они могут написать в любой момент. Но баннер с вопросом мы проактивно показываем только через несколько дней.
Оценка + текст. Можно спрашивать мнение пальцем вверх/вниз или пятью звездочками, но я люблю градацию из трех вариантов: нравится / не нравится / нейтрально. Погрешность таких голосований очень высокая, поэтому мы просим написать комментарий. Комментарии более показательны и точны.
Критерии успеха заранее. Важно определиться с критерием успеха до начала эксперимента. Задайте себе вопрос: «Если 50% пользователей будут ненавидеть новую версию, мы оставим ее?» Если ответ отрицательный, то попробуйте уменьшать цифру до тех пор пока вы и ваши стейкхолдеры не согласятся, что, к примеру, 30% негативных отзывов вполне приемлемы. После этого определите минимальный порог количества участников. К примеру, я решил, что если в опросе участвовали менее 1% пользователей, то я вообще не смотрю на долю негативных отзывов.
Подключайте разные источники. Чтобы собрать больше отзывов, мы использовали разные источники: баннер на странице, чат-бот, группу в Фейсбуке, обращения в саппорт.
Отрабатывайте негатив в личном порядке. Всегда будут недовольные пользователи. Я люблю общаться с ними в личной переписке и специальной закрытой группе в Фейсбуке «для своих». Это гораздо лучше для PR, чем публичные набросы в Твиттере.