Эффект новизны в эксперименте (novelty effect) ✨

Всем , привет!
Давно не писал, меня забрал тервер из MIT, осталось еще 2 месяца, надеюсь доживу😄
Но что бы вы меня совсем не теряли, хочу коротко поговорить про эффект новизны в АБ тестах.

Что это такое ?🤔
Эффект новизны это ситуация когда вы запускаете новую фичу в продукте, ваши пользователи замечают это изменение и начинают проявлять интерес , с мыслями : «О, ничего себе какая новая штука появилась , дай потыкаюсь 😅»

В чем тут проблема?🧐
С одной стороны интерес к новой фиче это отличная новость, но с точки зрения эксперимента это скорее проблема чем бенефит. Все потому что такой активный интерес к новой фиче он временный и если включить его в результаты эксперимента , то ваш ожидаемый средний эффект от новой фичи будет завышен (эффект новизны со временем улетучивается)

Как обнаружить? 🕵️‍♂️
Можно в целом наблюдать этот эффект на временных рядах. То есть как только вы выпустили фичу , есть очень высокая активность, но со временем она улетучивается. Скорее всего эффект новизны будет наиболее заметен на частых пользователей вашего продукта и не виден на новых пользователях. Мне кажется что если присутствует такая комбинация, то это самый верный способ сказать что у нас случился эффект новизны в эксперименте.

Как лечить ?👨‍⚕️
Самый простой и понятный способ отрезать часть дней из анализа где мы наблюдали эффект новизны. И наверное стоит учитывать вероятность эффекта новизны в дизайне эксперимента (очевидно что не во всех экспериментах но может исходить из исторического опыта), что бы не просесть по MDE (Power).

Небольшая заметка по эффекту новизны от Yuzheng Sun (ex Meta, PhD), тут подробнее и более менее с картинками 😊