Система экспериментирования в Spotify 🐍

Ранее я уже неоднократно писала про Spotify (рекомендации, глобальная контрольная группа)

Сегодня расскажу о том, как они реализируют эксперименты для работы над персонализацией главной страницы/экрана.

ЗАПУСК ЭКСПЕРИМЕНТА:

1. Команда фокусируется на двух областях: скорость запуска экспериментов и их качество.

2. Для тестирования используется платформа Home Config, это внутренняя разработка типа configuration-as-a-service. Платформа позволяет “играть” с сортировкой, контентом, картинками и др.

3. Для запуска теста в прод используется платформа Spotify Experimentation Platform, встроенная во всю экосистем продукта. То есть в Home config создается конфигурация для теста, а дальше он попадает в EP для запуска в прод: параметры, группы, метрики и анализ результатов.

4. Для QA и дебаггинга используется инструмент Home QA. Он симулирует запросы пользователей к главному экрану и проверяет работу запланированного эксперимента.

КОЛЛАБОРАЦИЯ:

Ожидаемо, все команды хотят запускать тесты на главном экране, поэтому важно иметь прозрачные процессы и обмениваться информацией. Для этого:

1. Spotify использует Experimentation Tracker - хаб для всех экспериментов, который отражает детали каждого теста и помогает приоритизировать их на основе текущих бизнес задач.

2. Experiment Validation Assistant - сервис, который автоматически валидирует все A/B тесты на главной по нескольким факторам и далее отправляет результаты валидации в ветку в Slack с выводом, обратной связью и рекомендациями.

🔗 Полная статья.

#spotify