Одна TimesFM вместо тысячи моделей

Google выпустила TimesFM-3, новую версию своей zero-shot модели для прогнозирования временных рядов.

Сначала, разберемся, что это за zero-shot

Zero-shot модели не нужно дообучать под каждую отдельную задачу, потому что их заранее предобучили на огромном количестве данных, и она обобщает полученные знания на другие временные ряды. Например, вот эту TimesFM-3 предобучили на 1 триллионе временных точек в разных задачах. И это позволяет просто закидывать временной ряд и получать уверенный неплохой прогноз.

Важно отметить, что специально обученные под конкретную задачу модели часто будут выигрывать у zero-shot моделей. Но во-первых, иногда важна не точность, а массовость и время до деплоя. На все задачи не наобучаешься моделей, а тут можно сразу получать приемлемый прогноз.

А во-вторых, при желании zero-shot модели можно использовать как базу для построения специализированных моделей прогнозирования.

Теперь про апдейт — он получился хорошечным

Главное ограничение предыдущих TimesFM вплоть до версии 2.5 заключалось в том, что они были одномерными. Модель смотрела на историю одной переменной и по ней предсказывала значения этой же переменной в будущем.

Например, хотим узнать продажи мороженого: загружаем исторические продажи → получаем прогноз продаж.

Но реальные задачи обычно сложнее — они многомерные. Продажи одного товара связаны с продажами других товаров, посещаемостью магазина, погодой, скидками и праздниками.

TimesFM-3 сделали многомерной и научили работать со всей этой картиной. Причем здесь есть сразу несколько сценариев многомерности.

Первый сценарий: при прогнозе модель учитывает дополнительные исторические факторы. Например, вместе с продажами можно передать прошлую посещаемость магазина.

Второй: модель учитывает известные будущие факторы. Календарь скидок, праздники или прогноз погоды помогают скорректировать прогноз на конкретные даты.

Третий: модель прогнозирует сразу несколько рядов. Можно загрузить продажи мороженого, рожков и сиропов и получить прогноз для всех трех товаров. Связи между ними модель тоже учтет.

Эти сценарии можно объединять. Например, одновременно прогнозировать несколько товаров с учетом прошлой посещаемости и будущих скидок.

В TimesFM 2.5 дополнительные факторы тоже можно было подключать через внешний XReg. В новой версии несколько временных рядов внутри самой модели.

Про технику

Ради перехода к многомерности переделали attention. Модель отдельно следит за тем, как каждый показатель меняется во времени, и за связями между разными показателями.

Изменился и сам способ построения прогноза. Раньше TimesFM генерировала часть прогноза, добавляла ее в контекст и переходила к следующей части. Поэтому ошибка на одном участке могла потянуться дальше. В третьей версии — TimesFM прогнозирует на весь горизонт за один проход. Это быстрее, а ошибки не накапливаются.

Модельку уже выложили на GitHub и Hugging Face. Интеграцию с BigQuery обещают следом. По бенчам впереди сопостовимых моделей.

Забираем в арсенал моделей для прогнозирования 📈

#ИИстатья

Заместители