TimesFM 2 500Mبهترین عملکرد رو در بین همه مدل‌ها داشت. و در حالات دیگه هم بین چند مدل اول بود. دقت کنید که مدل‌های دیگه تک متغیره نبودن، با داده‌های این مسئله train میشدن و حتی HPO هم انجام شد. اما این مدل بدون نیاز به آموزش و فقط با خود متغیر اصلی به عنوان context عملکرد بهتری داشت.
چرا این مسئله مهم هست؟
بعد از سال‌ها به تازگی داریم میبینیم که Foundational Model ها در سری زمانی و tabular data هم رقابت میکنن و اگر در حال حل مسئله ای هستید باید تستشون کنید.
بعد از موفقیت TimesFM در این مدت، گوگل چند هفته قبل مدل
TabFM هم برای Tabular data منتشر کرد.کمی جزئیات:
اینجا که بر خلاف NLP بجای کلمات با اعداد سر و کار داریم نوع توکن سازی و patch شدن هم مکانیزم جالبی داره. فرضا هر ۳۲ عدد متوالی در سری زمانی یک توکن ورودی هست و خروجی هم ۱۲۸ عدد متوالی رو در یک forward path تولید میکنه. جزئیات دقیق در مقالات همین مدل‌ها.