مروری بر مدل‌های عمیق برای داده‌های جدولی!

اگر علاقه‌مند به دیپ‌لرنینگ هستید و معتقدید که هر مساله‌ای رو می‌تونید باهاش حل کنید احتمالا وقتی سراغ دادگان جدولی میرید خیلی به چالش می‌خورید. مردانی از سرزمین ماتروشکا و از شرکت یاندکس در مقاله‌ای اومدند و مدل‌های عمیق رو برای دیتاهای جدولی یه دور مرور کردند و اون‌ها رو با مدل GBDT یا همون Gradient Boosting Decesion Tree مقایسه کردند. اگر اهل استفاده از کتابخونه XGBoost باشید احتمالا با این روش آشنا هستید. این کتابخانه یک پیاده‌سازی شیک و مجلسی از روش GBDT است که اتفاقا در دادگان جدولی خیلی خوب جواب میده و در مقایسه با کتابخانه scikit learn در پروداکشن بسیار خوب عمل می‌کنه. حالا این دوستان با توجه به اینکه در حوزه دادگان جدولی بنچ‌مارک استانداردی وجود نداره ۱۱ دیتاست معروف در این حوزه رو جمع‌آوری کردند و مدل‌های دیپ و همچنین GBDT رو بر روی این دیتاست‌ها تست گرفتند. نکته اینه که دربرخی موارد GBDT مسابقه رو برده و در برخی موارد مدل‌های دیپ. اما نکته مهمتر اینه که بین مدل‌های دیپ معروفی که در این مقاله بررسی شده معماری ساده ResNet تقریبا همه مدل‌های دیپ رو شکست داده و گفته شده که می‌تونه در پروداکشن به عنوان یه baseline خوب مورد استفاده قرار بگیره. اما یه نتیجه مهم دیگه‌ای که این دوستان گرفتند اینه که در دیتاست‌هایی که فیچر‌ها heterogenous هستند(ینی فیچرها جنبه‌های مختلفی از یک آبجکت را با معیار‌های متفاوت توصیف می‌کنند مانند دیتاست California Housing) GBDT بهتر جواب میده اما در دیتاست‌هایی که فیچرها heterogenous نیستند (مانند دیتاست Higgs) مدل‌های دیپ بهتر عمل می‌کنند. همچنین در مساله‌های دسته‌بندی که تعداد کلاس‌ها خیلی زیاد میشه ( مثلا حدود ۱۰۰۰ کلاس) باز مدل‌های دیپ بهتر عمل می‌کنند. در نهایت این برادران نعمت رو بر ما تکمیل کردند و یه مدل مبتنی بر ترنسفورمر برای دیتاست‌های جدولی ارایه دادند که مدل‌های دیپ دیگه رو شکست داده و همچنین در دیتاست‌هایی که GBDT برنده بوده هم تونسته فاصله رو با GBDT کم کنه. استفاده از مدل‌های دیپ در پروداکشن باعث میشه که پایپلاین‌های یک‌دست‌تری داشته باشید و نگهداری‌شون با توجه به ابزارهای مدیریت پایپلاین‌های ML مثل TFX ساده‌تر باشه. از همین جهت مدل معرفی شده می‌تونه اهمیت داشته باشه. این مقاله رو از دست ندید.

لینک مقاله:
https://arxiv.org/abs/2106.11959

لینک پیاده‌سازی مقاله:
https://github.com/yandex-research/rtdl

پ.ن: اگه با TFX آشنا نیستید به این پست از کانال رجوع کنید:
https://t.me/nlp_stuff/157

#paper
#read

@nlp_stuff