Как измерить финансовый эффект от динамического прайсинг?

Вопрос достаточно важный, так как для многих компаний ценнообразование является одним из ключевых процессов, и ошибка тут может стоить дорого. Поэтому очень важно качественно подходить к планированию пилота и определению формата замеров. Без этого будет сложно сказать, приносит нам AI-модель новые деньги или теряет их.

Казалось бы, что тут думать — надо проводить АБ-тест. Но именно здесь возникает много тонкостей:

- Как мы делим на группы? Часто в АБ разделяют по пользователям, но далеко не всегда мы можем показывать разным пользователям разные цены

- Какую единицу рандомизацию мы выбираем? Покупатель, группа SKU, SKU, SKU x регион... Здесь можно придумать много комбинаций, и от выбора будет сильно зависеть результат

- Как мы сравниваем результаты групп между собой? На их перформанс влияет множество факторов, а нам надо вычленить только фактор AI-цены

- Какая выборка и длительность нам нужны, чтобы обеспечить статистическую значимость теста? Без этого бизнес не сможет быть уверенным в результатах

- ...

На эти и многие другие вопросы мы с Егором Тищенко отвечаем в нашем новом лонгриде про оценку эффективности динамического прайсинга. Мы старались написать максимально детальные и прикладные вещи, так что надеюсь, что многим будет полезно