Оценка качества систем сплитования

Если составить рейтинг того, про что забывают при проверке гипотез или разработке новых метрик - то A/A тесты войдут в топ 3.
A/A тесты требуются не только для проверки качества систем сплитования, но и для выбора метрик.
Не каждая метрика подходит для экспериментов в силу своих описательных особенностей.

Очень доступная статья про то, как проверить качество своей системы a/b тестов - https://habr.com/ru/company/hh/blog/321386/