این شبکه عصبی وقتی معرفی شد اومد نواقصات و مشکلات شبکه عصبی بازگشتی(RNN) رو پوشش داد و تونست تحول بزرگی در حوزه هوش مصنوعی بده و مدل های زبانی بزرگی مثل GPT کمک کنه توسعه پیدا بکنن
این مدل به جای اینکه مثل RNN بیاد کلمات رو یکی یکی پشت سر هم بررسی کنه تا بتونه کلمات رو درک کنه که در این مسیر ممکنه اطلاعات رو گم یا فراموش بکنه یا نتونه ارتباط درستی بین کلمات پیدا کنه میاد تمامی داده هارو هم زمان بررسی میکنه به شکل موازی میاد با یک ترفند ریاضی به نام مکانیزم توجه یا Attemtion Mechanism متوجه میشه که در جمله بلند ما باید به چه کلماتی توجه کنه و ارتباط بین اون کلمات رو پیدا کنه شبکه یاد می‌گیره که کلمه‌ها رو بر اساس اهمیت، به یکدیگر متصل کنه
ساختار کلی این شبکه چجوریه؟
بخش اول از یک انکودر ساخته شده که میاد همزمان کل توکن مارو به شکل موازی وارد میکنه و پردازش انجام میده و وزن کلمات و رابطه اون هارو رو برای چندین بار بررسی میکنه که قدرت پردازشی زیادی میخواد برای این کار(علت گرونی رم و کارت گرافیک رو فهمیدین🗿)
بخش دوم هم دیکودر هست که میاد برای ما جواب رو تولید میکنه
ولی خب این شبکه عصبی به کمک واحد های پردازشی سرعت آموزش بالایی داره و اینکه در متون بلند به راحتی میتونه رابطه کلمات اول و اخر جمله رو پیدا کنه ولی معایبی هم داره مثل هزینه بالا پردازش هست مثلا برای پردازش هزار کلمه باید یک میلیون پردازش انجام بده! و همچنين برای تمرین همچین شبکه شما نیازمند یه حجم عظیمی اطلاعات هستین تا بتونید مدل رو آموزش بدین تا بتونید خروجی دقیق و خوبی ازش بگیرید بخاطر همینه که شرکت های بزرگ از مدل ها یک بیلیون پارامتری به یک تريليون پارامتری رسیدن
و در نهایت لینک های مفید:
لینک۱
لینک۲
@PhiloLearn | @NyxHrafn