می‌دونستید تو استفاده از اکثر مدل های ai زبان انگلیسی کمتر از فارسی توکن مصرف می‌کنه؟
چون توکنایزر های اکثر مدل‌های AI عمدتاً رو حجم عظیم متن انگلیسی آموزش دیدن و کلمات انگلیسی راحت‌تر به توکن های کامل تبدیل میشن. مثلا کلمات پرتکرار انگلیسی معمولاً 1 توکن میشن ولی فارسی، عربی و … به دلیل کاراکترهای غیرلاتین و نبودن توی داده آموزشی توکنایزر، عمدتا کاراکتر به کاراکتر یا تیکه‌تیکه می‌شکنن.
@Mern_stack_01
Post #1443
1.9K
- ❤ 40
- 👍 17
- 💯 1