مقاله رگرشن نمادی

یکی از تفریحات سالم دانشمندان قرن شانزدهم این بود که می‌نشستند آزمایش انجام می‌دادند و بعد سعی می‌کردند رابطه و فرمول بین متغیرهای مختلف به دست بیاورند و به همین شکل کلی فرمول و رابطه با ترم‌های مختلف ریاضی به دست اومد. حالا یک مقاله (که جزو پذیرفته‌شدگان ICML 2021 است) اومده و سعی کرده همین کار رو با یادگیری ماشین پیاده‌سازی کنه. وظیفه مورد بررسی به این شکله که شما یک‌سری X,y را قراره که به مدل بدین و مدل هم باید فرمول y=f(x) پشت این داده‌ها رو مشخص کنه ( مثلا خروجی بده که y = log(x) + 3 * e^x -5 ) شاید سوال پیش‌ بیاد که فرق این مساله با رگرشن چیه که باید گفت توی رگرشن هنگام تست به ازای هر نمونه ورودی پاسخ تولید می‌شه، ولی اینجا در واقع به ازای مجموعه X,y ‌های ورودی قراره که فرمول مربوط به اینها به صورت نمادی تولید بشه.

خلاصه کار این مقاله به این شکله که ابتدا اومدند و یک سری فرمول برای درست کردن دیتاست آموزشی جنریت کردن و حالا با جایگذاری یکسری X‌های تصادفی توی این فرمول‌ها y‌های مربوطه رو به دست آوردند. در گام بعدی یک ترنسفورمر داریم که این X,y ها به انکودرش داده می‌شوند. انکودر این X,y ‌ها را به یک فضای نهان نگاشت می‌کنه و حالا دیکودر ترنسفورمر باید بیاد و اسکلتون فرمول رو تولید کنه. اسکلتون فرمول چیه؟ اسکلتون در واقع همون فرموله با این فرق که جای اعداد ثابت یک نماد تولید می‌شه ( برای مثال اون اسکلتون فرمول مثالی تو قسمت قبل میشه log(x) + α * e^x - β ) حالا ما اسکلتون فرمول رو داریم. در گام نهایی هم با روشای بهینه‌سازی نظیر BFGS مقادیر اعداد ثابت که توی اسکلتون خالی گذاشته شده بودند تعیین می‌شوند. جمع بندی بخوایم بکنیم ترنسفورمر شکل نمادی فرمول رو به دست می‌آورد و روش بهینه‌سازی هم ترم‌های عددی خالی اسکلتون رو پر میکنه.

در بخش آخر مقاله هم ارزیابی روش اومده که نشون داده این روش از سایر روش‌های پیشین عملکرد بهتری داره. یک نکته دیگه هم اینه که نشون داده بر خلاف روش‌های دیگه با افزایش تعداد نمونه‌های دیتاست آموزشی عملکردشون رشد پیدا نمیکرده، این روش بر روی دیتاست مقیاس پذیر است و هر چه سایز دیتاست بیشتر بشود عملکرد این روش هم بهتر می‌شود.

پی‌نوشت: سه تا عکس ضمیمه شده، ورق بزنید.

لینک پیپر:
https://arxiv.org/abs/2106.06427

#read
#paper

@nlp_stuff