🤖روند تکامل معماری ترنسفورمرها از پردازش دنباله‌های متنی تا درک سلسله‌مراتبی •••••

۱. ترنسفورمر‌ها :
ترنسفورمر در ابتدا برای داده‌های ترتیبی (Sequential Data) مانند متن طراحی شد و با استفاده از Self-Attention روابط میان توکن‌ها را یاد می‌گیرد.

جریان ِ پردازش:
متن
↓
توکن‌ها (Tokens)
↓
بردارهای تعبیه‌شده (Embeddings)
↓
اطلاعات مکانی (Positional Encoding)
↓
خودتوجهی سراسری (Global Self-Attention)
↓
بلوک‌های Transformer
↓
خروجی

⭕️ویژگی‌ها
•ورودی: دنباله‌ای از توکن‌ها
•افزودن کدگذاری مکانی (Positional Encoding)
•توجه سراسری بین تمام توکن‌ها
•دارای اتصال‌های باقیمانده (Residual Connections)
•دارای لایه نرمال‌سازی (Layer Normalization)
⭕️مناسب برای:
●پردازش زبان طبیعی (NLP)
●ترجمه ماشینی
●مدل‌سازی دنباله‌ها

⭕️ایده‌ی اصلی:

Token-to-Token Attention
↓
هوش دنباله‌ای (Sequence Intelligence)

.....ادامه دارد

#Transformers
#PositionalEncoding
@toobabigdatascience