Voicelab da bizga eng qiziq bo'lgan mavzu bu Small Language Models (Large Language Models emas). Sababi ular kichik, bu esa ularni oddiyroq qurilmalarda yuritish imkonini beradi.

Qiziq tomoni, agar biz kichik modelni to'g'ri train qilsak. Unga pre-train davomida to'g'ri ma'lumot bera olsak, ma'lumot sifati yuqori bo'lsa keyingi qiladigan ishimiz bu uni learning algoritmini tuzatish bo'ladi.

Hamma "Artificial Intelligence" (Sun'iy Idrok) deyayotgan paytda "What is intelligence?" deydiganlar kamayib bormoqda. Ya'ni idrok bu yerda muammoni yechish emas, muammoni yechish avtomatizatsiya yoki tahmin asosida. Haqiqiy idrok bu yerda "o'rganish" (shaxsiy fikrim).

Qayerdan, qanday qilib o'rganish. Xatolardan o'rganish. Hozirgi AI tizimlar bunday qilmaydi. Bitta xatoni takrorlashiga sabab yoki ba'zan yomon kod yozishiga sabablardan biri bu pre-train davomida ishlatilgan dataset (ma'lumotlar to'plami). Ular zo'r va chiroyli yozilgan kodlarni emas, ular githubdagi imkon qadar ko'proq kodlarni ko'rsatishga harakat qilishadi.

Natijada context learning algoritmi ehtimollikni (probability) barchasiga ulab o'rganadi. Gradient Decent (ya'ni o'sha biz bilan AI ichidagi bilim)da balans yo'qoladi. AI shunchaki ko'p raqamlardan iborat bo'lgan miya bo'lgani uchun ehtimolliklarni bir-biri bilan bog'laydi.

Qiziq tomoni bizningcha agar biz haqiqiy learning algortimni va context learningdagi o'sha mashxur f(x) = x^2 ni to'g'irlay olsak, continuous learning ga erisha olsak bo'lsa kerak, qaysidir ma'noda.

Albatta bu oson bo'lmaydi. Hozircha muammolar 3ta ekan. Pre-train dagi ma'lumotlar sifati yuqori bo'lishi kerak. Context Learning uchun yaxshiroq algoritm topish (hozirgi algoritm qandaydir trick qilayotganga o'xshaydi, chunki ko'pchilik aynan shu qismini tushunmaydi. Shuning uchun AI bizga Black Box dek tuyuladi). Va oxirgisi Distillation process haqida o'ylab ko'rish, xuddi insonlar uxlaganda ba'zi bilmlarni unutib kundan bitta xulosa yasagani kabi, katta til modellari ham keraksiz bilmlarni tashlashi compute xarajatni pasaytirishga va yaxshiroq o'rganish uchun xulosa qilib to'g'ri algoritm tanlashga o'rgangan bo'larmidi, who knows.

Voicelab da yangiliklar bor, tez orada bo'lishib o'tamiz.