🧠هوش مصنوعی جمله را مثل ما نمیخواند...

•مدل AI باکلمات کار نمی کند بلکه با واحد هایی با نام توکن(Token)اقدام می کند.

💢اما توکن چیست؟!

•یک کلمه
•بخشی از یک کلمه
•یک عدد یا حتی علامات نگارشی

دیدِ مدل به عبارت داده شده:

ورودی : "سلام دوستان"
پردازش: [سلام ، دو ، ستان]

⭕️لازم هست اشاره کنیم ک توکنایز کردن مدل های مختلف متفاوت هست .

🔰چرا سبک عملکرد مدل به این شکل است؟
فرض کنیم که قرار بود برای تمام کلمات فارسی یک شناسه جدا تعریف کنیم،مسلما تعداد کلمات بی شمار است..‌.

راه بهتر این بود ک آنها به واحد های کوچک تری(Token) تقسیم کند تا با این کار حتی کلماتی ک قبلا ندیده بوده را هم درک کند

⚙بعد از توکن چه اتفاقی می افتد؟
•توکن ها ب اعداد تبدیل می شوند و سپس آن عدد وارد لایه‌ی Embedding می‌شود و به یک بردار (Vector) تبدیل می‌شود.
بیشتر بخوانید

در ادامه، Transformer روی همین بردارها عملیات انجام می‌دهد و در نهایت توکن بعدی را پیش‌بینی می‌کند.

جامعه هوش مصنوعی دانشگاه سمنان
🆔@SUAI_Community