Оценка долгосрочных эффектов

Как в индустрии, так и в академии приходится обращать внимание на долгосрочные эффекты от имплементируемых изменений. Например, в онлайн экспериментах кликбейтная вызывающая реклама может приводить в краткосрочном периоде к росту CTR (кликабельности), но в будущем вызовет отток клиентов и снижение прибыли. Многие государственные программы имеют отложенный эффект воздействия.

Основная проблема — результаты оценки для принятия решений нужны здесь и сейчас, а собирать данные долго и дорого. В онлайн-экспериментах увеличение их продолжительности приводит к дополнительным проблемам: потеря пользователей из-за неизбежного удаления куки-файлов, а также смешение тестовой и контрольной групп.

Что можно сделать? Стандартное решение — использование прокси-метрик (driver metrics, surrogate, intermediate short-term outcome), по которым можно предсказать долгосрочный эффект.

Собрали основные статьи про этот и другие подходы с примерами реализации.

@evidencespace