Data-driven подход стал стандартом, и я считаю что его популярность скорее опасна чем полезна. В работе с данными очень просто накосячить, и неподготовленному человеку он дает массу вариантов выстрелить себе в ногу. Например:
– При закупке трафика мы оптимизировали цену инсталла, при этом не смотря на ARPU. Это классика и все про это в курсе.
– Мы проводим AB тест, результат хороший. Раскатываем его на всех и теряем 10 тысяч пользователей. Это потому что мы увидели рост метрик и на радостях забыли посчитать отток.
– Мы собираем своих пользователей и рассказываем про новую новую фичу. Они в восторге, мы тратите полгода на разработку, а потом ей никто не пользуется. Так получилось потому что выборка пользователей была слишком мала (статистически не значима).
Примеры могу перечислять бесконечно. Все они от того что мы склонны делать решения на основе неполных данных. Нам по природе постоянно кажутся очевидными выводы или решения, которые с точки зрения статистики просто нельзя принять. Например вы приходите в сетевой магазин, вас плохо обслужили, вы решили что вся их сеть плохая. С точки зрения цифр это абсурд, но с точки зрения обывателя это логично.
Поэтому выживают только параноики: всё перепроверяйте, катите через АБ-тест и постепенно.
Post #53
2.81K
- ❤ 2