Четвертый год работаю в CRO команде и согласен с большей частью утверждений из приведенной статьи.
Первый год набивали шишки в настройках и твиках инструментов тестирования и самой аналитики.
Второй год пытались обуздать процессы, автоматизацию и привить философию тестирования в компанию (это кстати было самым сложным).
На третий год наконец удалось построить процесс тестирования _всех_ новых фич продукта, даже самых мелких, покрыть тестами 100% веб трафика (десятки одновременных экспериментов), интегрировать тесты в мобильные приложения.
На четвертый год пришла корона и обрушила трафик :( Сейчас понемногу возвращаемся обратно.

Из личного опыта, при средней конверсии в районе 9% нужно порядка 1 000 000 сессий на АБ-тест чтобы определить 1.2-1.5% аплифта. 9 из 10 тестов негативны.
Согласен с тем, что для небольших объемов трафика занятие абсолютно бесполезное.