Второй пункт про симметричность ошибки. Недопрогноз --> потеря прибыли из-за того, что товара но полке меньше, чем хотят купить. Перепрогноз - товаров слишком много. И они, например, могут портиться.
Тут начинается интересное:) В большинстве кейсов для ритейла лучше, если товара на полке > чем хотят купить. Пустые полки - самый большой страх. НО в категориях скоропортящихся товаров ситуация ровно обратная, т.к. ритейлер несет существенные потери из-за утилизации испорченных продуктов. +когда клиент видит гнилой банан/помидорку на полке - это не очень хорошо. Поэтому наша ML метрика будет зависеть от категории товара! 🍫/🍌
Важно: менеджеры понимат только симметричные метрики в интервале от 0 до 100%. Поэтому мы можем измерить 2 метрики:
MAPE = sum(|y - y_true|) / sum(y_true)
Bias = sum(y - y_true) / sum(y_true)
И будем говорить, что для большинства категорий мы хотим минимизировать MAPE при bias от +1% до +5%, а для скоропортящихся товаров - минимизировать MAPE при bias от -1% до -5%
(!) Не забываем, что нужно измерять MAPE и MAE для изменения прибыли, а не продаж. Иногда такую метрику называют WAPE - Weighted average percent error
Вывод:
Используйте метрики, нормированные от 0 до 100%, чтобы их было легко объяснить. Учитывайте стоимость ошибки в большую и меньшую стороны
Post #19
880
- 👍 1