Прогнозирование: бенчмарки

#лонгрид

Сегодняшний лонгрид продолжает начатую пару недель назад историю про прогнозирование - сегодня мы поговорим про бенчмарки.

Неважно, как вы прогнозируете: простыми моделями "в одну строчку", сложными чудо-нейронными сетями или даже силой естественного интеллекта (методом пристального взгляда или научного тыка пальцем в небо) - в любом случае вам необходимо как-то оценивать качество прогноза, чтобы понимать, насколько хорошо или плохо работает ваш метод.

Предположим, вы оценили модель, как-то правильно и аккуратно (как - возможно ещё поговорим в другой раз) померили её точность и получили, что в среднем она ошибается на 5%. Это хорошо или плохо? Даже если вам для вашей задачи этой точности хватит, это ещё не значит что модель хорошая! Потому что, вполне возможно, где-то рядом существует значительно более простая модель, которая будет прогнозировать не хуже. Вот эти предельно простые модели, с которыми всегда стоит сравнивать качество работы вашей модели, и есть бенчмарки.

Самые частые кандидаты на эту роль в прогнозировании - это наивные модели (когда прогноз на будущее равен последнему наблюдаемому значению: "завтра будет как сегодня, и послезавтра будет как сегодня, и даже через 100 лет будет как сегодня"), AR(1)-модели (когда "завтра" = "какой-то коэффициент" умножить на "сегодня"), иногда - сезонные наивные модели (когда прогноз на следующий месяц равен факту в тот же месяц предыдущего года).

Вернёмся к примеру с ошибкой в 5%. Пусть у наивной модели ошибка оказалась равна 54%. Ваша модель почти в 11 раз обошла наивную - она явно хороша!

А что если у наивной модели средняя ошибка получилась равной 4%? Вы делали сложную модель, собирали данные, оценивали - и получили на выходе точность хуже, чем у примитивной модели, для которой даже ничего оценивать не нужно! Наверное, ваша модель по меньшей мере не очень.

Звучит тривиально, но на практике такие сравнения с простыми моделями очень часто просто игнорируются! И показывают тебе модель со средней ошибкой в 5%, а ты даже не можешь понять хорошо это или плохо.

Так что, если вы занимаетесь прогнозированием и по какой-то причине не сравниваете свои модели с простыми - надо исправляться. А если вы заказчик и вам пытаются продать "очень крутой искусственный интеллект для прогнозирования", но не сравнивают качество его работы с простыми моделями - возможно, вас пытаются обмануть...