تهدید‌ها و فرصت‌های مدل‌های شالوده‌ای

هوش مصنوعی در طی دهه‌های اخیر چندین انقلاب و تغییر پارادایم را تجربه کرده است. در انقلاب لرنینگ، دیگر به مانند روش‌های سنتی منطقی نیازی نبود تا طرز تصمیم‌گیری به مدل فهمانده و مدل به لطف الگوریتم یادگیری (backpropagation) می‌توانست صرفا از روی داده‌ها خروجی موردنظر را یاد بگیرد. در انقلاب یادگیری عمیق، مدل حتی نیازی به ورودی گرفتن ویژگی‌های استخراج شده از داده را نیز نداشت و به صرف اتکا بر معماری خود قادر به یادگیری ویژگی‌ها نیز بود. در دو سه سال اخیر، مدل‌های غول‌آسایی همچون Bert و Dall-E و GPT3 با عملکرد‌های قابل توجهشان بر وظایف مختلف بار دیگر موجب جلب توجه دنیا به هوش مصنوعی شده‌اند. بر پایه این مقدمه‌چینی، محققینی از استنفورد این پدیده را انقلاب سوم مدل‌های شالوده‌ای دانسته‌اند. به این معنا که اکنون در حال مواجهه شدن با یک تغییر پارادایم هستیم که در آن با یک مدل غول پیکر مانند GPT3 مواجه هستیم که به واسطه یادگیری خودنظارتی بر روی حجم عظیمی از دیتاها به چنان توانایی دست یافته که به مانند یک شالوده می‌توانند پایه‌ای برای حل سایر مسائل مرتبط (برای GPT مثلا حل تمامی وظایف زبانی) قرار بگیرد. توانمندی بالای این مدل‌ها باعث شده تا نرم نرمک در صنعت نیز مورد استفاده قرار بگیرند (گوگل برای موتور جستجوی خود از برت استفاده می‌کند) .علی رغم تمامی این داستان‌ها، اما چگونگی یادگیری و تصمیم‌گیری و تفسیرپذیری مدل‌های شالوده‌ای کاملا مبهم است و برای همین نمی‌دانیم کی و تحت چه شرایطی و به چه شدتی خرابکاری به بار می‌آورند و اصلا در نهایت تا چه حد قابل توسعه هستند.

اکنون بیشتر از صد محقق از بیش از ده زمینه علمی متنوع از دانشگاه استنفورد دور یکدیگر جمع‌ شده‌اند و مقاله‌ای بالای ۱۵۰ صفحه‌ای بیرون داده‌اند که به نوعی تلاش برای کند و کاو مدل‌های شالوده‌ای از جنبه‌های مختلف است. این مقاله در چهار بخش اصلی تدوین شده که به موضوعات قابلیت‌های مدل‌های شالوده‌ای در حوزه‌های مختلف (برای مثال تصویر، متن، روباتیک و ...)، کاربرد‌های مدل‌‌های شالوده‌ای در دنیای واقعی، پایه‌های تکنولوژیکی و فنی مدل‌های شالوده‌ای (برای مثال نحوه جمع‌آوری دادگان آموزشی این مدل‌ها یا میزان و کیفیت سخت‌افزار لازم برای آن‌ها) و در نهایت پیامد‌های استفاده از این مدل‌ها (مسائلی نظیر fairness و ضرر وارده به محیط زیست و مسائل اقتصادی و اخلاقیو خلاصه هر چه که فکر کنید!) می‌پردازد.

مقاله فنی نیست ولی از لحاظ دید کلی که به کل موضوع و آینده این داستان تازه شروع شده دارد، جالب است و ارزش یک نگاه انداختن را دارد. به خصوص برای کشوری فرضی که سد می‌سازد ولی آب شور تحویل می‌گیرد، نشانه‌هایی وجود دارد اگر کسی بیندیشد.

لینک مقاله:
https://arxiv.org/abs/2108.07258

#paper
#read

@nlp_stuff