Endi nega bu yaxshiligini argumentlar bilan keltirib beraman. Avvalambor belgi soni kamayadi. Sh, ch, o‘ va g‘ lar matnni o‘rtacha 2-3% ko‘paytiradi. Har bir 100 betga bu 2-3 bet degani. Yangi alifbo bilan qog‘oz kamroq ketadi.
Ikkinchidan o‘qishga oson bo‘ladi. Chuchvarachi, shoshilishdi kabi so‘zlar miyaga qo‘shimcha yuk beradi. Çuçvaraçi, şoşilişdi ancha tezroq o‘qiladi nazarimda.
Uchinchidan, qidiruv tizimlari va LLM tokenizatsiyasi uchun qulay bo‘ladi. Hozir Google O‘ va G‘ lardagi apostrofni bo‘luvchi belgi deb ko‘radi. Masalan “O‘zbekiston” deb qidirsangiz, “O zbekiston” bo‘lib qidiriladi. LLM’larga kelsak, ular tokenizatsiya payti apostrofni bo‘luvchi deb ko‘radi. “To‘g‘ri” degan so‘z naq beshta tokenga bo‘linyapti. O‘zi bitta tokenli narsa.
To‘rtinchidan, hozirda maktabda o‘quvchilar shundog‘am o‘ ni õ, g‘ ni ğ qilib yozishadi. Nega kompyuterda terganda apostrof qilish kerak?
Beshinchidan, odamlar apostrofning to‘g‘ri shaklini izlab qiynalmaydi. Hozir shu bechora apostrofni kamida 6 ta kombinatsiyasi bordir. Hamma har xil yozadi, qidiruv tizimlari va raqamlashtirish payti hammasi chalkashib, rasvo bo‘ladi. Doim matnlarni bitta formatga keltiraverib jonimizga tegganidan buni aytyapman.
Post #879
1.23K
- ❤ 15
- 👍 9
- 👎 7
- 🔥 6