Интересную тему затрагивает автор статьи - мониторить распределение пользователей между вариантами АБ-теста.
Проблема не так тривиальна, как может показаться. Если деление отличается от запланированного, да еще и неравномерно по дням или сегментам, это может привести к плачевным результатам.
У меня было такое, что у старух пользователей деление было такое, как настроено, а у новых оно мало того, что отличалось, так еще и имело изменяющийся тренд по дням. Из-за этого из анализа новых пользователей приходилось убирать. А смотреть за этим начал, обнаружив "странные" результаты.
Если подняться на уровень выше, контроль системы сплитования - одна из важнейших атрибутов успешного АБ-тестирования.