133. Как проводить опросы

Продуктовые команды постоянно создают что-то новое, экспериментируют. Конечно, лучше делать выводы на основании численных метрик: MRR, ARPPU и т.д. Но бывают случаи, когда метрики не показательны и приходится опираться на отзывы пользователей. Например, мы решили изменить внешний вид главной страницы: для новых пользователей хорошей метрикой будет количество первых платежей, а для старых – Churn Rate + отзывы. Можно выкатить новую версию на 10% старых пользователей и понять, как сильно они будут ругать или хвалить новый дизайн. Расскажу, как я провожу такие опросы.

Сначала дать попробовать. Бессмысленно спрашивать пользователей до того, как они распробовали новинку. Конечно, они могут написать в любой момент. Но баннер с вопросом мы проактивно показываем только через несколько дней.

Оценка + текст. Можно спрашивать мнение пальцем вверх/вниз или пятью звездочками, но я люблю градацию из трех вариантов: нравится / не нравится / нейтрально. Погрешность таких голосований очень высокая, поэтому мы просим написать комментарий. Комментарии более показательны и точны.

Критерии успеха заранее. Важно определиться с критерием успеха до начала эксперимента. Задайте себе вопрос: «Если 50% пользователей будут ненавидеть новую версию, мы оставим ее?» Если ответ отрицательный, то попробуйте уменьшать цифру до тех пор пока вы и ваши стейкхолдеры не согласятся, что, к примеру, 30% негативных отзывов вполне приемлемы. После этого определите минимальный порог количества участников. К примеру, я решил, что если в опросе участвовали менее 1% пользователей, то я вообще не смотрю на долю негативных отзывов.

Подключайте разные источники. Чтобы собрать больше отзывов, мы использовали разные источники: баннер на странице, чат-бот, группу в Фейсбуке, обращения в саппорт.

Отрабатывайте негатив в личном порядке. Всегда будут недовольные пользователи. Я люблю общаться с ними в личной переписке и специальной закрытой группе в Фейсбуке «для своих». Это гораздо лучше для PR, чем публичные набросы в Твиттере.