Все знают про правило Парето, где 20% действий дают 80% результата. Срабатывает один тест из пяти. Отсюда вытекает что если делать только нужное, то освободится куча времени, а результаты будут такие же. Но статистика штука жестокая. Если не делать 80% лишних действий, то нужные 20% тупо не найдутся.

Например, MVP. Сначала пишем какой продукт мы хотим сделать, потом отрезаем всё лишнее, и делаем эти 20%. Запускаем, смотрим фидбек, и решаем – работать с этим или нет. Но обычно отрезают всё мясо, и остаются одни кости. Которые, естественно, никому не продашь, ведь пользователи хотят полноценный продукт.

С А/Б тестами то же самое. Мы провели 10 тестов на улучшение CTR, один из них сработал. Встает вопрос как трактовать этот результат. Если забить на пуши и не заниматься этим – то кардинально новых идей и не появится. Если разбираться глубоко в вопросе, то за 3-6 месяцев до чего-то докопаетесь.