مقاله‌ی برنده‌ی ACL2020

این مقاله امسال جایزه‌ی بهترین مقاله‌ی کنفرانس ACL2020 را برنده شد. حتما بخونیدش. لینک پایین هم ویدیوی توضیحات یکی از نویسندهاشه!

حرف حساب این مقاله اینه که به جای این که برای ارزیابی مدل‌ها بیایم از روش «آموزش روی دیتای آموزشی و گرفتن یک عدد آماری روی دیتای تست» استفاده کنیم، واسه هر تسکی جنبه‌های مختلفی را بررسی کنیم.
مثلا تسک sentiment را در نظر بگیرید. یک جنبه برای این تسک اینه که با اضافه کردن یک جمله مثبت در پایان جمله ورودی نباید میزان مثبت بودن جمله کاهش پیدا کنه.
یا مثلا اگر کلمه خنثایی در متن ورودی با کلمه خنثای دیگه‌ای جایگزین شد نباید لیبل متن (مثبت، منفی یا خنثی) تغییر کنه.
یا مثلا برای تسک NER یک جنبه می‌تونه این باشه که عوض کردن اسم کشور نباید نتیجه را تغییر بده.

در پایان: برای مقاله شاخ دادن لازم نیست حتما منابع سخت‌افزاری شاخ و مدل گنده‌ای داشت و هنوز هم ایده‌ها می‌تونند‌ موفق باشند.

https://www.aclweb.org/anthology/2020.acl-main.442.pdf

https://slideslive.com/38929272/beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist

#read
#paper

@nlp_stuff