بازشناسی نهاده‌های نامدار؛ ققنوسی که دوباره جان می‌گیرد!

تسک بازشناسی نهاده‌های نامدار یا NER تسکی است که مدت‌ها است طبق shared task های تعریف شده شاید به اشباع رسیده باشه. در واقع دقت مدل‌ها در این تسک امروزه به بالای ۹۰ درصد رسیده و خیلی‌ها شاید فکر کنند دیگه دوره این تسک تموم شده. اما در یادگیری عمیق هیچ وقت حتی امثال این تسک هم کنار گذاشته نمی‌شوند. معمولا تسک‌هایی که به این حد از دقت می‌رسند در ادامه راه وارد یکی از سناریو‌های زیر می‌شوند.

در سناریو اول عملکرد مدل‌های موجود بر روی دیتاهای نویزی بررسی میشه و سعی میشه در محیط‌های نویزی عملکرد مدل‌ها رو بهبود بدند. در سناریوی دوم، برخی وارد حوزه‌های تفسیرپذیری مدل می‌شوند و به چرایی تولید این نتایج عالی می‌پردازند و در سناریوی آخر وارد مباحث few-shot learning می‌شوند. پس اگه در حوزه NLP کار می‌کنید و دلبسته این تسک‌های خوش‌تعریف و قدیمی مثل NER هستید ناامید نباشید( بالاخره هرچیزی قدیمی‌ش بهتره!) چون نیک‌نامانی از سرزمین اژدها دقیقا برای همین NER در حوزه few-shot learning یه مقاله خوب بیرون دادند. در few-shot learning هدف اینه که با دیدن تعداد کمتری از نمونه‌های آموزشی برچسب‌خورده به دقت‌های مطلوبی برسیم. این دوستان ابتدا شبکه RoBERTA رو به عنوان شبکه اصلی انتخاب کردند و سپس مدل بیس‌لاین رو یه دسته‌بند خطی بر روی RoBERTA تعریف کردند و سعی کردند این مدل بیس‌لاین رو در سناریوهای five-shot ، دیدن ۱۰ درصد و یا دیدن تمام داده آموزشی شکست بدهند. برای این‌کار سه روش کلی تعریف کردند. در روش اول با استفاده از meta learning و روش prototyping سعی کردند که برای هر نوع از نهاده‌های نامدار یه وکتور دربیارند و براساس میزان شباهت بردار هر توکن با وکتور هر نوع نهاده نامدار برچسب اون توکن رو تشخیص بدند. در روش بعدی از حجم وسیع دیتای ویکی‌پدیا استفاده کردند که به صورت نویزی لیبل خورده (‌حدود ۷۷ درصد لیبل‌هاش فقط درسته) و با استفاده از این دیتا سعی کردند مدل رو فاین‌تیون بکنند و در روش آخر هم از self-training استفاده کردند. به این صورت که یه پیکره کوچک از توکن‌هایی که لیبل دارند رو درست کردند و باهاش یه مدل ترین کردند. حالا اون مدل، یه پیکره بزرگ‌تر که لیبل نداره رو لیبل میزنه و با مجموعه دادگان اولی و دادگان دوم که توسط مدل لیبل خورده دوباره یه مدل جدید ترین می‌کنند.

در اکسپریمنت‌هاشون از چندین دیتاست مشهور و مرجع استفاده کردند و همچنین سناریو‌هایی شامل ترکیبی از روش‌های بالا رو به‌کار بردند که با یه بررسی کلی میشه گفت روشی که استفاده از ویکی‌پدیا به همراه self-training بوده در حالت‌های five-shot و ۱۰ درصد پیکره بهترین عملکرد رو داشته و به صورت میانگین و به ترتیب، اف‌اسکور حدود ۵۸.۵ و ۷۹.۹ رو برای five-shot و ۱۰ درصد پیکره به‌دست آورده که خیلی خوب هست. برای اینکه بتونید خوب مقایسه کنید لازمه بدونید که تنها استفاده از یه دسته‌بند بر روی شبکه RoBERTA در حالت five shot learning می‌تونه اف‌اسکور حدود ۵۰ درصد به‌دست بیاره درحالیکه استفاده از تکنیک‌های بالا تونسته حدود ۸ درصد این رو بهبود بده. نکته جالب هم اینه که روش meta learning by prototyping تنها در دیتاست WNUT که مربوط به دیتاهای نویزی توییتری هست تونسته بهترین عملکرد رو داشته باشه و بقیه سناریو‌ها همواره از این روش بهتر بودند. در ادامه و در عکس‌های این پست می‌تونید جزییات عملکرد این سناریو‌ها رو مشاهده کنید.

لینک مقاله:
https://arxiv.org/abs/2012.14978

#paper
#read

@nlp_stuff