69. Не навреди фичей своей

У меня был очень авторитарный начальник. Его все боялись. Как-то он прочитал книгу по маркетингу и говорит мне: «Будем проверять дизайн коробки для автомобильного фильтра на фокус-группе». Я смастерил две коробки разных цветов и поставил на стол. Начальник позвал тёток из бухгалтерии и говорит им строго: «Ну что, какая коробка больше нравится?» Женщины тушуются и боятся что-то сказать. Босс потерял терпение и подсказывает: «Ну ведь красная лучше, правда?». Фокус-группа закивала, заулыбалась, да, говорит, красная лучше.

Эта история – иллюстрация, как человек подгоняет результат эксперимента под свои ожидания. Этим занимаются не только дилетанты, но и вполне крепкие профессионалы, вооружившись A/B-экспериментами и статистикой. Когда хочется какую-то фичу, сложно устоять перед соблазном «доказать» ее полезность.

Бывает, надо сделать изменения, необходимость которых давно назрела, но доказать это ростом продуктовых метрик – сложно. Например, редизайн: стало красивее и современнее, но роста первых платежей нет, ретеншн не изменился, средний чек не вырос. И нормально! Не надо правдами и неправдами доказывать, что новая версия работает лучше.

Достаточно проверить, что новая версия не хуже. Продуктовые метрики остались на том же уровне – это тоже хороший результат. «Не навреди» – хороший принцип для продуктологов и других врачей.