Говорим приоритету 999999999999999999999 — нет

Привет! Это Маша Новикова и сразу с вопросом. Вы участвовали в битвах внутри бизнеса за точку входа в продукт? Когда разные департаменты конкурируют за возможность показать пользователю своё решение.

Мы с аналитиком Наташей решили разрешить такие споры данными, внедрив автоматическую систему приоритетов. Делимся результатами и главными подводными камнями.

🗂 Что за продукт. В личном кабинете продавца есть специальное место, на котором показывают разнообразные баннеры: от уведомления о верификации до предложения скидки на платные услуги. Система выбирает и показывает баннер с вероятностью, которая зависит от числового приоритета.

🗂 Какую проблему решали. Раньше приоритеты согласовывались каждой командой в отдельном длительном процессе. Иногда значение приоритета доходило до 999 999 999 999 999 999 999 секстиллионов (если вдруг кто-то не знал, как называются 21-значные числа 😀). Основная проблема системы — не всегда получается предугадать интерес пользователя и показать ему релевантный баннер.

🗂 Что придумали. Разработали автоматическую систему, в которой приоритеты расставляются в соответствии с CTR и переводятся в 10-балльную шкалу. Всё прозрачно, а команды не тратят время на споры.

🗂 Где споткнулись. Разработали систему, запустили её в A/B… и увидели ряд странностей:

🤔 В тестовой и контрольной группе стала различаться метрика показов баннеров, хотя мы влияли только на контент, а не на условия показа.

Попробуйте предположить причину и потом смотрите скрытые ответы 🙂

Часовой синк с разработкой показал, что ошибка в логировании, из-за которой неверно отбирали показы на баннерном месте. Доработка с их стороны — и, вуаля, показы по группам сошлись.

🤔 В тесте в топе по показам оказались баннеры с низким приоритетом, хотя новые правила должны их долю уменьшать.

Оказалось, что всё дело в доступности. Баннеры для широкой аудитории обычно менее конверсионные, чем для узкой, поэтому у них маленький приоритет, но из-за высокого охвата они всё равно собирают много показов.

🤔 CTR на разных платформах покрасился в разные стороны относительно контрольной группы, хотя новая система рассчитана на основе CTR и должна его повышать.

Повлияло сокращение диапазона приоритетов с 21-значных чисел до 10-балльной шкалы. Оказалось, что на одной неделе теста в контроле появился баннер с наивысшим приоритетом, который и правда был самым кликабельным. В тестовой же группе различие приоритетов сократилось, поэтому трафик распределился равномерно, а поэтому общий CTR снизился.

Через неделю в контроле появился другой баннер с наивысшим приоритетом, но уже менее конверсионный и тест стал выигрывать. Этот кейс дал еще один аргумент в пользу автоматического приоритета, который ведет себя стабильно.

Неожиданный плюс. Мы нашли hidden gem — интересный баннер, который жил на проде несколько лет, но команды про него забыли. В тесте он получил значимый прирост показов и покрасил прокси к важной бизнес-метрике. Теперь про этот чудо-баннер знают все :)

🔥 Итог: новая система приоритетов на проде. Автоматические приоритеты победили ручные, сделали расчёты стабильнее и избавили команды от бесконечных согласований.

Ставьте реакции, чтобы мы узнали, какая загадка вам понравилась больше всего! Лайк, если все кайф)
✍️ — про логирование
🏆 — про низкие приоритеты
🧑‍💻 — про CTR
❤️ — всё кайф!

#Новик