⚡️ Granite PatchTST-FM-r2: zero-shot прогноз временных рядов под Apache 2.0

IBM выпустила Granite Time Series PatchTST-FM-r2 — модель примерно на 385M параметров для zero-shot прогнозирования временных рядов, под двойной лицензией Apache 2.0 и OpenMDW 1.0.

На бенчмарке GIFT-Eval среди воспроизводимых zero-shot моделей она вторая по CRPS и MASE, 0.467 и 0.6846 по геометрическому среднему, и первая среди моделей с разрешительной лицензией по состоянию на 8 сентября. Если добавить в сравнение pretrained-модели, которым разрешено видеть тренировочные части оценочных датасетов, r2 остаётся третьей по CRPS и четвёртой по MASE, обходя Chronos-2, Timer-S1 и варианты Toto, хотя часть конкурентов заметно крупнее.

Что изменилось относительно r1: обычные трансформерные блоки заменены на conformer-блоки, где к multi-head attention добавлена темпоральная свёртка с чередующимися ядрами 5, 5, 3, 3. Свёртка забирает короткие зависимости, внимание концентрируется на дальних. Плюс патчи с 50-процентным перекрытием и окном Хэмминга, тридцать блоков вместо двадцати, контекст до 8192 шагов и 99 квантилей на выходе, то есть сразу и точечный прогноз, и интервалы.

Отдельно описан пре-тренировочный корпус: GiftEvalPretrain, синтетика на KernelSynth, TSMixup вне оценочных датасетов и около 500 тысяч последовательностей CauKer. Для enterprise такая прозрачность нередко важнее лишних пунктов в лидерборде. Ставится через pip install granite-tsfm, дальше pipeline на несколько строк, без дообучения.

👉🏻 Канал | 💬 Чат | 📕 Каталог