ترنسفورمرها علیه آلزایمر

آلزایمر یکی از شایع‌ترین انواع زوال‌های مغزی است که معمولا علائم آن از سن بالای پنجاه سال نمایان می‌شوند و تا حال حاضر هیچ گونه درمانی برای آن وجود ندارد. تنها راه مقابله با این بیماری تشخیص زودهنگام آن و انجام یکسری تکنیک برای کاهش سرعت پیشرفت آن است. در این راستا یکی از مهم‌ترین علائم اولیه این بیماری، کاهش قدرت تکلّم است که برای تشخیص آن آزمون‌های شناختی ریز و درشتی استفاده می‌شوند که عموما نیاز به تعامل بیمار با متخصص گفتاردرمانی و علوم اعصاب دارند که قاعدتا این وابستگی انسانی هزینه زمانی و اقتصادی در راه تشخیص بیماری دارد.

از سال ۲۰۰۰ به بعد متخصصان هوش مصنوعی و پردازش زبان در پی خودکارکردن تست تشخیص آلزایمر از روی متن گفتار برآمدند. ابتدا این روش‌ها بر پایه استخراج ویژگی بناشدند اما با پیشرفت دیپ لرنینگ این روش‌ها نیز از شبکه های ژرف نظیر LSTM و CNN در معماری‌های خود بهره بردند. در اکثر این پژوهش‌ها دیتای آموزشی به این صورت است که یک تصویر خاص به شرکت‌کنندگان نشان داده شده و آن ها نیز بایستی آن را توصیف کنند. در نهایت مدل بایستی با ورودی گرفتن متن یا صوت این آزمایش، تعیین کند که آیا شرکت‌کننده آلزایمر دارد یا خیر.

یکی از بزرگترین چالش‌های فعالیت در این حوزه عدم وجود دادگان کافی برای آموزش مدل‌های عمیق است (تا جایی که بزرگترین مجموعه‌ی داده‌ی کنونی تنها حدود ۵۰۰ نمونه دارد). در مقاله‌ای که توسط علیرضا روشن‌ضمیر، دکتر مهدیه سلیمانی باغشاه و دکتر حمید کربلایی آقاجان ارائه شده است سعی شده است تا با استفاده‌ی افراطی از تکنیک‌های افزون‌سازی داده (Data Augmentation) و استفاده از مدل‌های زبانی از پیش آموزش داده شده‌ی مبتنی بر ترنسفورمر به چالش عدم وجود دادگان کافی پاسخ داده شود. در این پژوهش از روش‌های افزون‌سازی شامل جایگزینی با کلمه‌ی هم معنی، جایگزینی با کلمه‌ی هم احتمال که توسط مدل زبانی زمینه‌ای استخراج شده است (Contextual Data Augmentation) و حذف جمله از متن استفاده شده است. برای مدل‌های زبانی مبتنی بر ترنسفورمر نیز از مدل‌های زبانی از پیش آموزش داده شده‌ی XLNet، BERT و XLM استفاده شده است. در واقع در این پژوهش از این مدل‌ها برای استخراج ویژگی به صورت خودکار استفاده شده است.

در نهایت آن‌ها توانستند با استفاده از مدل زبانی BERT و تکنیک‌های افزون‌سازی متن و دسته‌بند رگرسیون لجستیک، با دقت ۸۸/۰۸ درصد (و معیار اف ۸۷/۲۳ درصد) از روی متن گفتار، ابتلای فرد به بیماری را تشخیص دهند و هم چنین ۲/۴۸ درصد دقت کارهای پیشین را بهبود دهد.

در خود تز ارشد ایشان با ترکیب مدل‌های زبانی متنی و مدل‌های صوتی همانند Wav2Vec توانسته‌اند علاوه بر متن گفتار، از صوت آن نیز استفاده کنند و دقت نهایی دسته‌بندی را بهبود دهند. همچنین با استفاده از مدل‌های زبانی چندزبانه و تکنیک‌های انطباق دامنه توانسته‌اند از یک مدل که در زبان انگلیسی آموزش داده شده است بدون حتی آموزش یک مورد (Zero-Shot) در زبان چینی، دقت قابل قبولی در تخمین شدت بیماری در زبان چینی ارائه دهند.
در ادامه یک نمونه تصویر مورد استفاده در آزمون شناختی توصیف تصویر و تصویر معماری مدل مورد استفاده در این مقاله به پیوست آورده شده است.

لینک پیپر:
https://bmcmedinformdecismak.biomedcentral.com/track/pdf/10.1186/s12911-021-01456-3.pdf

#read
#paper
#irani

پ.ن. با تشکر از علیرضا روشن‌ضمیر عزیز که لطف کرد و خلاصه‌ای از مقاله‌شان را برامون ارسال کرد.

@nlp_stuff