Как делать А/Б тесты правильно (3 / 3) #abtesting

Здесь уже исключительно мой опыт, который я получил запустив порядка различных 1000 тестов.

Тезис три
Не все понимают, что А/Б тесты не улучшают конверсию. Изменения улучшают конверсию. А/Б тесты лишь проверяют как меняется конверсия.

Простая аналогия
GPS навигатор показывает куда идти, но шагать надо своими ногами. GPS без движения бесполезен. А вот движение без GPS вполне себе может привести к результату. Есть старый добрый компас или ориентировка по звёздам.

Вот и А/Б тесты без изменений бесполезны. А изменения без а/б тестов могут принести положительный результат.

Вывод
Ещё раз: держите фокус на изменениях, а не на тестах.