Для начала давайте разберем метрику из поста выше:
money_precision@5 = SUM(price_i * relevant_flag_i) / SUM(price_i * recommended_flag_i),
Рекомендуем хотя бы 1 дорогой товар (price_i > 7$)
Пусть товар дороже 7$ стоит ровно 7$ и пусть его точно никто не купит
р - средняя цена рекомендованного товара
Х (от 0 до 5) - кол-во купленных среди рекомендованных, тогда
р*Х / (7 + р*4) > 0.2
Х > 0.8 + 1.4 / р
precision@5 = X/5 > 0.2 + 0.28/p
Как видите, зависимость от цены (р) НЕ линейная. Очень выгодно рекомендовать дорогие товары с точки зрения метрики
При p = 1 вам нужно угадать аж 2.2 товара из 5 (это соответствует precision@5 = 44%!. Что почти невозможно)
При р = 3 - около 1.26 из 5 (precision@5 =25%)
При р = 5 - около 1.1 из 5 (precision@5 = 22%)
Ситуация очень похожа на реальность: лучше продать 1 товар по цене 5$, чем 2 по цене 1$
Вывод
Всегда учитывайте деньги в метрике