⭕️دو جمله زیر دارای کلمات یکسانی هستند
●سگ، مرد را گاز گرفت.
●مرد،سگ را گاز گرفت.
یک مدل چگونه تفاوت این دو جمله را با وجود یکسان بودن کلمات‌شان تشخیص می‌دهد؟

🤖 با کدگذاری موقعیت (Positional Encoding) در ترنسفورمرها؛ که راز درک ترتیب کلمات است!

🟢 ترنسفورمرها (Transformers)، برخلاف شبکه‌های عصبی بازگشتی (RNN)، تمام کلمات یک جمله را به‌صورت هم‌زمان پردازش می‌کنند.

🟡 این ویژگی باعث می‌شود سرعت آن‌ها فوق‌العاده بالا باشد؛ اما از طرف دیگر به این معنی است که به‌صورت ذاتی ترتیب و توالی کلمات را نمی‌فهمند.

🟣 کدگذاری موقعیت (Positional Encoding) این چالش را با تزریق اطلاعات مربوط به جایگاه هر کلمه به بردار توکن (Token Embedding) آن، پیش از ورود به ترنسفورمر حل می‌کند...

#PositionalEncoding
#TokenEmbedding
#Transformers
#AI
@toobabigdatascience