Грабли #2: В реальности MSE - почти всегда не лучший выбор ❌

Что ж, мы определились, что ML-метрики не симметричны. В этом случае достаточно логично было лы использовать квантильный лосс
https://medium.com/analytics-vidhya/prediction-intervals-in-forecasting-quantile-loss-function-18f72501586f

Для скоропортящихся товаров прогнозируем, например, 45% квантиль, а для остальных - 55%. Кажется, что тут все очевидно, но есть одна проблема:

ML-модели достаточно хорошо прогнозируют каждый товар в отдельности, но в совокупности - нет

То есть, используя quantile loss c 55% квантилем, по всем товарам в совокупности вы далеко не всегда получите bias +5%.

Причина кроется в распределении продаж - как правило, это пуассоновское распределение с очень тяжелым хвостом. Поэтому помимо quantile loss я бы посоветовал также протестировать poisson loss и его более обобщенную версию - tweedie loss. Например, отдел прогноза спроса в Х5 Retail Group использует именно tweedie

Вывод
Loss крайне важен. Не пугайтесь тестировать нестандартные функции потерь

#metrics