بعد از اینکه CNNها توی تصاویر موفق شدن، یه سؤال جدی پیش اومد: خب حالا با داده‌های ترتیبی مثل زبان و صدا چی کار کنیم؟ 🤔
🔄 شبکه‌های بازگشتی (RNN)
برای همین RNNها معرفی شدن. ایده‌شون ساده بود: خروجی هر مرحله برگرده به ورودی مرحله بعد. این‌طوری شبکه یه جور «حافظه کوتاه‌مدت» پیدا می‌کرد و می‌تونست ترتیب داده‌ها رو بفهمه.💡 راه‌حل: LSTM
کاربردش؟ ترجمه، تشخیص صدا، پیش‌بینی سری‌های زمانی.
⚠️ مشکل اصلی
ولی یه دردسر بزرگ داشتن: مشکل محو شدن گرادیان. یعنی وقتی جمله طولانی می‌شد، شبکه یادش می‌رفت اول جمله چی بوده.
سال ۱۹۹۷ یه معماری جدید معرفی شد به اسم LSTM. با کمک «سلول حافظه» و «دروازه‌ها» می‌تونست اطلاعات مهم رو برای مدت طولانی نگه داره. همین شد که پردازش زبان طبیعی یه جهش اساسی پیدا کرد.🚀 اهمیت RNN و LSTM
قبل از اینکه ترنسفورمرها بیان، تقریبا همه‌ی سیستم‌های NLP جدی (حتی ترجمه گوگل) با RNN و LSTM ساخته می‌شدن.📌 مرجع تخصصی هوش مصنوعی و علم داده
🤖 دیتایاد / datayad@