🔆 توکن‌ها چی هستند و هوش مصنوعی چطور کلمات را می‌بیند؟

🔹 مدل‌های زبانی کلمات رو چطور می‌فهمند؟ (مفهوم Tokenization)

🔹 هوش مصنوعی زبان انسان (فارسی، انگلیسی و...) رو به صورت کلمات کامل نمی‌خونه، بلکه متن رو به قطعات کوچکتری به نام توکن (Token) تبدیل می‌کنه.

🔹 یک فکت جالب:

یک توکن معادل تقریباً ۰.۷۵ کلمه در زبان انگلیسی است (یعنی هر ۱۰۰ توکن حدود ۷۵ کلمه است).

🔹 اما در زبان فارسی، به دلیل ساختار توکناایزرها، کلمات فارسی معمولاً به توکن‌های بیشتری شکسته میشن (یعنی برای یک متن فارسی، مدل توکن‌های بیشتری مصرف می‌کنه و این یعنی هزینه‌ی پردازش و طول محدودیت متن در فارسی نسبت به انگلیسی بالاتره).

🔹به همین دلیل بهینه‌سازی پرامپت‌ها در زبان‌های غیرانگلیسی اهمیت ویژه‌ای داره.

🦾 @ai_inf