«Не везде есть смысл, не везде он нужен!» (с)

#splittest иногда выигрывают и проигрывают. Не всегда есть возможность найти ответ на вопрос «почему?». Надо ли этот искать?

Нет, не надо. К этому решению склоняют две вещи «искажение нарратива» и «карта не территория». В прочем, эти понятия где-то близки и скорее об одном и том же только в профиль. Суть в том, что придумать связную историю в качестве ответа на «почему?» можно, но будет ли эта история соответствовать действительности? Как это проверить? В этом случае необходимо просто брать следующую гипотезу и тестировать дальше.

Да, надо. В криптографии и взломе паролей есть такой подход как «brute force attack». По сути это простой подбор пароля и перебор всех возможных вариантов, пока не наткнёмся на верный. Разница с #cro и #product в том, что при атаке кол-во вариаций известно. Противостоять «brute force» можно увеличивая время между попытками ввода пароля. Например, после ошибочной попытки включается пауза на 10 секунд. За год получится попробовать только 3.14 млн. вариантов. А пароль из 8-ми знаков имеет вот столько вариантов: 136,325,893,334,400. Да, это одно число! Для удобства тысячи разделил запятыми.

Возвращаясь к гипотезам и тестированию. Заниматься подобным в условиях, когда тест длится один месяц, практически невозможно. Необходимо знать поведение человека, его мотивы, чтобы предлагать изменения, которые с наибольшей вероятностью увеличат конверсию.