Я ранее рассказывал про интересную библиотек для анализа траекторий поведения пользователей retentioneering. С помощью библиотеки можно строить графы и матрицы переходов клиента в продукте и видеть основные паттерны поведения.
Вчера открыл для себя новое применение этой библиотек - для анализа АБ тестов.
Что можно сделать?
1) Построить граф перемещения клиентов, которые попали в эксперемент и которые не попали в эксперимент и поискать какие-то аномалии, возможно у клиентов в эксперименте были какие-то технические сбои и возможно это будет аффектить на их поведение.
2) Сравнить поведение клиентов в тестовой и контрольной группах и понять чем отличается их поведение или наоборот увидеть, что не отличается, возможность найти инсайты для будущих АБ тестов.
АБ тесты это не только