Запустила очередной A/B-тест, на второй день он уже прокрасился и видна ощутимая разница в конверсиях, будто тест можно заканчивать, мы получили статзначимость, все довольны.

Но есть одно но: в тесте были абсолютно одинаковые страницы. 😂

Почему нельзя останавливать тесты сразу, как только увидели разницу? На малом объёме трафика даже «значимый» результат может оказаться просто шумом, важно смотреть не только на разницу в конверсиях, но и добирать нужный объём выборки