(Продукт существует, но в новом городе выкатили новый тариф, который уже раскатан в нескольких других городах)
😊 «А есть похожий город, где вы уже были раскатаны?» — спрашиваю я
👩💻 «Ну они сильно другие»
😊 «Окей, выкатывали ли вы на всех пользователей эту фичу?»
👩💻 «Исключали новичков — тех, кто сделал менее 10 пользований сервиса, — а так на всех, да»
😊 «Ага, супер. Тогда можно сравнить 2 группы и то, как они пользовались другими тарифами»
Тут важно сказать, что не стоит просто сравнивать пользователей «до порога» и «после порога». Человек, который пользовался сервисом 2 раза, и человек, который пользовался им 50 раз, очевидно, отличаются не только наличием нового тарифа. Они и без всякой выкатки могли бы по-разному пользоваться остальными тарифами.
Но здесь есть условная граница, и можно найти пользователей, которые плюс-минус похожи, но при этом в разных группах: кто увидел новый тариф, и кому он недоступен. Если тариф становился доступен после 10 использований сервиса, можно сравнить, например:
8–10 использований ➡️ тарифа ещё нет
11–13 использований ➡️ тариф уже есть
Это уже гораздо более похожие пользователи. В идеальном мире единственное значимое отличие между ними — это доступность нового тарифа. А дальше смотрим, начали ли пользователи справа от порога реже выбирать старые тарифы.
И обязательно проверяем устойчивость результата: берём окно поуже — например, 9–10 vs 11–12, потом пошире — 7–10 vs 11–14. Если вывод каждый раз примерно один и тот же, доверия к нему становится сильно больше.
Если вам это что-то напоминает — да, это Regression Discontinuity Design, про который я уже писала в отдельном посте 👀
Что интересно, именно в момент этого разговора я сидела и считала по такому же методу свой «псевдотест». Изначально это не планировалось как АБ-тест, а просто было плавной раскаткой коммуникации на пользователей. Но в механике раскатки тоже нашлась условная граница, вокруг которой можно было сравнить очень похожих пользователей.
Спойлер, мой «псевдотест» не показал никаких аплифтов. Я проверила на разных границах (брала пользователей и поближе к границе, и подальше, разницы не было никакой), а у подруги-аналитика как раз такое исследование показало жёсткую каннибализацию других тарифов.
Дальше, конечно, стоит сделать обратный АБ, чтобы точно замерить негативный эффект на метрики других тарифов и получить данные для принятия решения. Ну или понять, что совсем всё плохо, и не катить тариф в этом городе :)
Вот так и поговорили.
Ну делитесь, а как бы вы попробовали обсчитать такой запуск?