مقاوم‌سازی شبکه عصبی در برابر انواع حملات خصمانه!

حتما در سال‌های اخیر در مورد Adversarial Attacks و ضعف شبکه‌های عصبی در تشخیص تصاویری که با افزوده شدن نویزهای کوچک تغییر داده شده‌اند شنیده‌اید. به طور مشخص، میتوان با افزودن نویز به تصاویر طوری که این نویز‌ها برای چشم انسان پنهان باشند، قدرت تشخیص شبکه‌ی عصبی که روی تصاویر سالم خوب کار می‌کند را به صفر رساند! از این رو در دهه‌ی گذشته محققین بسیاری سعی در یافتن روش‌های دفاعی (Defense Mechanism) برای مقابله با این حملات برآمده‌اند. اما مشکل اصلی این بوده که هر کدام از این روش‌های دفاعی حداکثر برای یک نوع حمله به شبکه‌های عصبی طراحی شده بودند و با آمدن روش جدیدی از حمله بلااستفاده یا بسیار ضعیف میشدند. از این رو سوال مهمی که مطرح شد این بود که میتوان شبکه‌های عصبی طراحی کرد که به ازای ورودی های مشخص، توان تشخیص درست را به ازای تمام حملات ممکن در یک همسایگی آن ورودی‌ها داشته باشد؟ از این رو فیلد جدیدی با عنوان Verification of Neural Networks مورد توجه قرار گرفت که سعی در اثبات ریاضی‌وار توانایی یک NN در تشخیص پیچیده ترین حملات (Adaptive and brute force attacks) دارد.

در کنفرانس اخیر ICML وورکشاپی تحت عنوان Workshop on Formal Verification of Neural Networks برگزار شد که مهمترین پیشرفت‌ها در این حوزه را در چند سال اخیر نشان می‌دهد. به طور ویژه یکی از این مقاله‌ها (با عنوان Improving adversarial robustness via joint classification and multiple explicit detection classes)، ایده‌ی Verification شبکه‌های عصبی که به طور توأمان Classification و Detection انجام میدهند را بررسی میکند.

یکی از راه‌های افزایش کارآیی شبکه‌های عصبی برای تشخیص Adversarial attackها افزودن Detector به شبکه‌ی عصبی است. منظور از Detector یک Binary Classifier است که تعیین میکند آیا ورودی داده شده تصویری سالم است یا مورد تغییر قرار گرفته است و به نوعی Adversarial حساب می‌شود؟ به طور مثال اگر می‌خواهیم از مجموعه داده‌ی MNIST برای train کردن شبکه‌ی عصبی استفاده کنیم که شامل ده کلاس است، میتوان کلاس یازدهمی اضافه کرد که وظیفه‌اش شناسایی عکس‌هایی است که دستکاری شدند. این مقاله به طور ویژه نشان می‌دهد که با افزودن تعداد بیشتری از این detectorها به Network، چگونه می‌توان توانایی تشخیص آن شبکه‌ی عصبی را بهبود داد. به طور مشخص این مقاله، نحوه‌ی Verify کردن و Train کردن چنین شبکه‌های پیچیده‌تری را شرح میدهد و با آزمایش‌های گوناگون روی داده‌های مختلف موثر بودن چنین روشی را نشان میدهد.

پ.ن. با تشکر از آقای سینا بهارلویی که این پست را برامون ارسال کردند. شما هم اگر پست خوبی داشتید بفرستید تا به اسم خودتون منتشر کنیم. تعارف نکنید خلاصه.

لینک ورکشاپ:
https://www.ml-verification.com

لینک مقاله:
http://download.huan-zhang.com/events/wfvml2022/papers/24_CameraReady_Camera%20Ready.pdf

#read
#paper

@nlp_stuff