Свежая статья от Netflix 🖥 про использование Sequential AB testing для тестирования новых версий сборок на пользователях


Я думаю все из вас то там то здесь слышали про использование АБ тестов непосредственно в тестировании новых версий сборок перед раскаткой на всю аудиторию. Так вот , ребята из Netflix выпустили статью где они рассказывают как используют Sequential методы для тестирования новых сборок на своих пользователях. Про дизайн таких экспериментов они пишут больше здесь.

В целом надо ли делать или не делать АБ тесты новых сборок , вопрос спорный и наверное всё таки зависит от многих факторов внутри продукта, зрелость , размер аудитории (Нетфликсу, по их словам, надо пару часов держать такие эксперименты что бы задетектить критические изменения в их метриках например, ну то есть Not a big deal 😄).

Но в целом если интересно узнать что-то в этом направлении то в качестве отправной точки мне кажется эти статьи вполне подойдут 😊