Otabek’s I/O

Voicelab da bizga eng qiziq bo'lgan mavzu bu Small Language Models (Large Language Models emas). Sababi ular kichik, bu esa ularni oddiyroq qurilmalarda yuritish imkonini beradi.

Qiziq tomoni, agar biz kichik modelni to'g'ri train qilsak. Unga pre-train davomida to'g'ri ma'lumot bera olsak, ma'lumot sifati yuqori bo'lsa keyingi qiladigan ishimiz bu uni learning algoritmini tuzatish bo'ladi.

Hamma "Artificial Intelligence" (Sun'iy Idrok) deyayotgan paytda "What is intelligence?" deydiganlar kamayib bormoqda. Ya'ni idrok bu yerda muammoni yechish emas, muammoni yechish avtomatizatsiya yoki tahmin asosida. Haqiqiy idrok bu yerda "o'rganish" (shaxsiy fikrim).

Qayerdan, qanday qilib o'rganish. Xatolardan o'rganish. Hozirgi AI tizimlar bunday qilmaydi. Bitta xatoni takrorlashiga sabab yoki ba'zan yomon kod yozishiga sabablardan biri bu pre-train davomida ishlatilgan dataset (ma'lumotlar to'plami). Ular zo'r va chiroyli yozilgan kodlarni emas, ular githubdagi imkon qadar ko'proq kodlarni ko'rsatishga harakat qilishadi.

Natijada context learning algoritmi ehtimollikni (probability) barchasiga ulab o'rganadi. Gradient Decent (ya'ni o'sha biz bilan AI ichidagi bilim)da balans yo'qoladi. AI shunchaki ko'p raqamlardan iborat bo'lgan miya bo'lgani uchun ehtimolliklarni bir-biri bilan bog'laydi.

Qiziq tomoni bizningcha agar biz haqiqiy learning algortimni va context learningdagi o'sha mashxur f(x) = x^2 ni to'g'irlay olsak, continuous learning ga erisha olsak bo'lsa kerak, qaysidir ma'noda.

Albatta bu oson bo'lmaydi. Hozircha muammolar 3ta ekan. Pre-train dagi ma'lumotlar sifati yuqori bo'lishi kerak. Context Learning uchun yaxshiroq algoritm topish (hozirgi algoritm qandaydir trick qilayotganga o'xshaydi, chunki ko'pchilik aynan shu qismini tushunmaydi. Shuning uchun AI bizga Black Box dek tuyuladi). Va oxirgisi Distillation process haqida o'ylab ko'rish, xuddi insonlar uxlaganda ba'zi bilmlarni unutib kundan bitta xulosa yasagani kabi, katta til modellari ham keraksiz bilmlarni tashlashi compute xarajatni pasaytirishga va yaxshiroq o'rganish uchun xulosa qilib to'g'ri algoritm tanlashga o'rgangan bo'larmidi, who knows.

Voicelab da yangiliklar bor, tez orada bo'lishib o'tamiz.

Barchamiz miriqib kuzatgan O'rgimchak Odam, Chaqmoq Makvin, Aka-uka Kreshlar (Muzlik davri) va bir necha mashxur filmlarga ovoz bergan Abdulhay aka bizni platforma uchun ovoz berdilar.

Voicelab da biz har kuni yangiliklar qilayabmiz. Yangi modellarimiz ham tez orada e'lon qilamiz. Ular hozirgisidan 5x kattaroq va ancha yaxshiroq bo'lishi kutilmoqda.

Biz yangilik qilishdan to'xtamayabmiz.

• Aisha Comet LLM modelimizni chiqardik. Platformaga oid savollaringizga javob beradi.
• Voice Isolator modellarimizni chiqardik. Endi Adobe Podcast va Elevenlabs dan 3-4x arzonroq va sifati oshsa-oshadi, ammo qolishmaydi.

Biz har bir foydalanuvchiga har oylik bepul kreditlar beramiz. Ishlatib ko'ring. Izohlarda fikringizni va audio output'larni kutib qolaman : )

#experience

Deyarli bir yarim yildan buyon intervyular jarayonida bitta savol doim so'rayman "Eng qiyin yechgan muammoyingiz nima?".

Bu savol nega muhim? Chunki bu savolni ichida juda ko'plab yaxshi savollarga javob olish mumkin, kandidat haqida. Masalan, uni izlanuvchan ekanligini "Muammoga qanday duch keldingiz va uni qanday yechdingiz?", muammo yechuvchanligini esa "Aynan qanday limitlar bu muammoni qiyin qilib turgandi?", yaxshi muhandsiligini "Nimalar qildingiz? Qanday qildingiz?" va qanchalik chuqur kira olganini esa har bir qismiga ko'proq to'xtalib savol bilan aniqlash mumkin.

Men ko'rgan yaxshi muhandislar javob bermaydi, ular o'rgatadi, bo'lishadi. Dasturchi muhandislik juda qiziq soha, biz har kuni har xil muammolarga duch kelamiz. Muammoni yechish hozir osonroq, AI Agentlar xisobiga. Lekin muammoni o'rganish va uni keyingi safar oldini olib qo'yish xislati kamayib bormoqda.

Eng zo'r muhandislar muammoni yaxshi o'rganadi, tahlil qiladi, yechim beradi va keyingi safarga tayyor turadi.

#experience

Ko'pchilik bir xil savol beradi:

"Model o'zilarnikimi yoki open-source modelmi?"

O'zimizniki ham bor, open source modellarimiz ham bor. Nimaga "pre-train" (ma'lumot yig'ib, PyTorch va JAX code bilan neural networkni tuzish, necha qavatli qilish, attention, yashirin dimension lar va hardware ga mos optimizatsiya qilish, keyin katta model uchun distributed system qilish chunki katta modellar bitta GPU ga sig'maydi, Hyperparameter configuration va h.k.z larni hammasini qilish deganida) qilmaysizlar to'liq ham deyishadi. Odatda javobim bunday.

Pre-training juda og'ir jarayon, ayniqsa low-resource (resursi kam bo'lgan) tillar uchun model qilish undanda og'ir. Ma'lumot yig'ish, tozalash jarayonini o'zi sizni butun umrlik qiynoqqa soladi. Biz bunday holatlarda osonroq yo'ldan ketamiz. Bor modelni olamiz, uni shunchaki post-train (fine-tuning) qilamiz. Bu jarayonda model'dagi og'irlik (weight) qayta balans qilinadi. Bu orqali model yaxshiroq o'rganadi eski ma'lumotlarini. Ya'ni ona tili ustozingiz diktantni faqat bir marta qaytarishi aniqlikni oshiradimi, yoki 2-3 marotabami?

Ikkinchi masala bu "compute". Hozirgi paytda bizga Azure, AWS va GCP zo'rga GPU'lar uchun imtiyoz berishgan. Ba'zilarida H100, H200 yoki B200 kabi kuchli videokartalar topishimiz qiyin bo'lsa, ba'zilarida bor ammo juda qimmat. Startup uchun bu og'ir.

Ammo imkon topayabmiz, modellarimizni yaxshilab borayabmiz. Undan tashqari CPU da ham ishlay oladigan modellarni ustida ishlayabmiz. Jarayondan o'rgangan 2 xulosam bor. Biri pre-train jarayoniga. Ikkinchisi post-training jarayoniga tegishli.

Barcha ma'lumotlarni chalkashtirib (shuffle qilib) keyin ularni boshidan oxirgacha teng distrbute qilish juda xato ekan. Model o'rganish darajasini (Learning rate) train jaryoni oxirida pasaytirish, va yuqori sifatli ma'lumotlarni berish kerak. Chunki aynan shu qismi modelni tugashi va post-training boshlanishi bo'ladi. Model ma'lumotni o'rgandi, endi unga bu ma'lumotni to'g'ri tushunish va ishlatishni o'rgatish (post-training) qismida ham sifatini saqlab qolishi uchun oxirgi ko'rgan ma'lumotlari juda sifatli bo'lishi kerak.

Model aldashni o'rganadi. Agar label qilingan ma'lumot faqat yaxshi tondagi javobga mukofot (reward) olsa, demak u cheat code qilishni boshlaydi. U doim muloyim va ishonchli aldashni boshlaydi. Buni natijasida u hallucinate qiladi, asosiy sabab bitta reward tonga (yoki stilga) nisbatan, haqiqatga (mazmun) emas.

RL muhitda bu tarafga qarash uchun modelni objective test qilish kerak, ya'ni natijani tekshirish oson bo'lishi kerak. Misol uchun "kod compile bo'ldi va to'g'ri ishladimi?", "javob haqiqatdan 42 chiqdimi?", "bergan javobi yaroqli JSONmi yoki nimadir qo'shvordimi?" degan savollarga javob topish. Chunki bularni tekshirsa bo'ladi.

Ovozli modellarda ham huddi shu jarayonni avtomatlashtirsa bo'ladi. Faqat ozgina sabr kerak ekan. Biz buni o'rgandik, bir kun yozish ham nasib qilsin. Uxlanglar endi : )

Voicelab Desktop V1 chiqdi (katta yangilanish va yaxshilanish qildik), har kunlik bepul kreditlar beramiz. Mazza qilib ishlatishingiz mumkin.

voicelab.uz/download

🎉 Vibe Talking urfga kiradi

Kodni, xabarlarni, va matnlarni qo'lda yozish, o'rta asrlarga xos. VoiceLab Desktop bilan gapirib yozing. Barmoqlarni bukishni bas qiling, ovozli boshqaruvga o'ting.

Ushbu promokod bilan butun ekotizim uchun, Creator tarifiga 70% chegirma oling.

OTABEKSWE (faqat Creator tarifiga ishlaydi)

Mac Apple Silicon | Mac Intel | Linux

So'ngi vaqtlarda hech qanday post yozmadim. Ammo juda ko'p yaxshi ishlar bo'ldi:

• Biz VoiceLab ni to'liq launch qildik.
• Juda ko'p eksperimentlar qilib qiziq bilim va tajribalar oldik.
• So'ngi modelimizga +30 tadan oshiq tillarni qo'shdik, endi ovozlar qidirayabmiz har xil tillarda (chiroyli ovoz sohib(a)lar)
• Shu orada research paper yozishga ham ulgurdim, buni voicelab blog sahifasini yaratib bo'lishib o'taman
• Soniox, Elevenlabs va boshqa kompaniyalardan bizga qiziqishlar bildirishayabdi (Shaxsan Mati Co-founder @ Elevenlabs tabriklab yozdi)

Xullas, yozish uchun yaxshi bilim va tajribalar olindi. Endi yozishga vaqt topish kerak : )

Ushbu darslar hayotimga quvonch olib kelgan.

Amerika, Yevropa va hatto Avstraliyada o‘quvchi talabalarning vaqtini saqlab qolibdi. FAANG kompaniyalariga ishga kirishda ham bir necha bor yordami tegdi. Ularni ishga taklif olganiga guvoh bo‘lganman.

Sizga ham foydasi tegsin, esingizdan chiqqan bo‘lsa eslatay degandim. O‘qing!

AI modellar quryabmiz. Eng katta olgan xulosalarim:

1. Hozirgi modellarda deyarli arxitektura tomonlama o’zgarish yo’q.
2. Yaxshilanishlar data labeling va reinforcement learning muhiti yaratuvchi kompaniyalar xisobiga bo’layabdi.
3. Fable, Sol ham shunchaki bir sohaga fine-tune (yoki CPT) qilingan chuqur.

Ammo modellar o’zgarmasa ham boshqa jarayonlar o’zgarayabdi:

1. Deyarli ko’p agentlar qurgan dasturlada ochiq joylar ko’payabdi.
2. Sifat tushib borayabdi.
3. Hardware kompaniyalar yana inovatsion izlanishlar qilishga kirishyabdi.

Yutishni yagona yo’li hali ham bir xil qolmoqda, fundamental bilimlarni o’rganish.

VoiceLab dagi ba’zi modellarimiz va ilmiy ishlarimizni bo’lishib o’taman keyinroq. Hammaga hayrli kun.

O'zbek tilida ravon so'zlashuvchi sun'iy intelekt qurishimizda hissa qo'shing. Qanday deysizmi?

Yo berilgan matnni o'qib, yoki o'qilgan matn audiosini tekshirib.

hissa.voicelab.uz
@voicelab_uzbot

Tez kunda yangiliklarimiz ko'payadi.

#startup

Texnik qiyin ammo juda katta impact keltiruvchi loyiha qilmoqchimisiz? Sizga men ko'rgan va topgan qiziq muammolarni aytaman. Bular multi-billion dollar startup idealar


1. GPU isolation:
CPU uchun hardware va software level da deyarli ko'plab ishlar qilingan. Ammo GPU larni multi-tenant muhitda ishlatish va izolyatsiya qilish bo'yicha effektiv yechimlar halicha yo'q (shaxsan men ko'rmadim). AI kompaniyalar va Data Center'lar sizga katta mijoz bo'ladi kelajakda.


2. Data cleaning/labeling/formatting automation:
Bugungi kunda AI engineer'lar vaqtining 80 foizini tartibsiz, formati buzilgan yoki takrorlangan ma'lumotlarni tozalashga sarflaydi. "Garbage in, garbage out" qoidasi AI uchun qonun. Qo'lda tozalash sekin va inson omiliga bog'liq, hozirgi yechimlar esa juda ko'p xatolik qiladi. Ma'lumotlar omboriga (S3, BigQuery, Snowflake) kelib tushayotgan petabaytlab ma'lumotlarni real vaqt rejimida anomal qiyofalarini topuvchi, formatini avtomat to'g'rilovchi va multimodal (matn, rasm, video) ma'lumotlarni o'zaro semantic sintaksis bo'yicha bog'lovchi avtonom servis quring. Mijozlaringiz yana o'sha katta o'yinchilar bo'ladi.


3. Data for robotics and physical world AI systems:
Robototexnika (Humanoid robotlar, avtonom transportlar) hozirgi kunda "Sim-to-Real" muammosidan aziyat chekadi. Ya'ni, robot simulyatsiyada (raqamli dunyoda) hamma narsani mukammal bajaradi, lekin uni haqiqiy fizik dunyoga chiqarganda fizik qonunlar, kutilmagan teksturalar va yorug'lik o'zgarishlari tufayli xato qiladi. Real world data yig'ish esa juda qimmat va xavfli. Fizika qonunlari (gravitatsiya, ishqalanish, material elastikligi, gidrodinamika)ga 100% bo'ysunadigan, generative AI'ga asoslangan cheksiz simulyatsiya platformasi qiling. Bu robotlar uchun "Matrix" (kinodagidek) simulyatsiyasini yaratish degani.


4. Storage that can serve static files at scale with scalable network:
bir tanishim bilan "expander graph" haqida gaplashgandik. Agar shu konseptsiyani qila olsangiz Dropbox/Youtube va boshqa katta file serve qiladigan service levelda ish qila olasiz. An'anaviy CDN va Storage tizimlari (AWS S3, Cloudflare) markazlashgan yoki cheklangan geografik serverlarga tayanadi. Katta hajmli fayllarni (masalan, 8K video, 3D xaritalar, gigabaytlab AI model og'irliklari) bir vaqtning o'zida millionlab foydalanuvchiga yetkazishda tarmoq o'tkazuvchanligi (bandwidth) botqoqqa botib qoladi. Bu muammo ham aktual.

Bonus konseptsiya: Matematik bilimingiz zo'r bo'lsa compression algoritmi toping katta ma'lumotlarni (binary ma'lumotlarni) kichiraytiradigan. Petabayt yoki katta masshtabda ma'lumotlarni o'tkazish uchun hozirgi networking jihozlari oqsaydi, bu orqali boshqalarga halaqit qiladi tezlikni sekinlashtirib. Shuning uchun bu ham aktual mavzu.

Nima project qilay deydiganlar, mana qiling endi.

#offTopic #startup

Ishdan ketib to'liq startap qilish tomon o'tar ekanman ba'zi qiziq narsalarni topdim, va ularni shu yerda yozmoqchiman. Agar siz ham startap qilmoqchi bo'lsangiz, bular haqida albatta o'ylab ko'ring.


Investitsiya juda katta tuzoq. Investorlar "biz founderga pul tikamiz" deyishadi, lekin bir qop qog'oz va biznes haqida ma'lumot so'rashadi. To'g'ri risk qilishni hamma ham yoqtirmaydi, ammo so'zlar to'g'irlanishi kerak deb o'ylayman "founderga tikamiz" -> "yaxshi biznes muammoni yechadigan founderga". Agar bozorni, mijozlaringizni va qurayotgan startapingiz nima muammo qanday yaxshi yechishini bilmasangiz bu yo'lga kirishingiz sizni butunlayin charchatib qo'yadi.


Eng yaxshi asoschilar jamoasini va yechayotgan muammosini yaxshi tushunadiganlari. Eng zo'r muammolarni 1 inson emas, jamoa yechadi. Bu yerda jamoani qo'llab quvatlash juda muhim. Ularni muammosini topib yechim berishingiz ham sizga va kompaniyaga bo'lgan ulardagi iliqlikni oshiradi. Asoschilarda ko'p ko'radigan vaziyatim, ular faqat foyda olishni istaydi, berishni emas. Olganingiz emas, berganingiz sizniki.


Hammasini tashab ketishni o'ylagan kuningiz yechim topiladi. Ochlik juda zo'r qurol. Qancha och bo'lsangiz, shuncha harakatingiz oshadi (albatta ovqat topishga bo'lgan sabablarni qilishni boshlaysiz). Agar pulingiz ko'p bo'lsa, kam harakat bo'lsangiz, qisqacha aytganda komfortda bo'lsangiz ulardan voz keching. Aqlli bo'lsangiz, sizdan aqillilar bilan gaplashing, ahmoqligizni va o'rganishingiz kerakligini tushunasiz. Boy bo'lsangiz, pulingizni ota-onangizga berib yuboring, och qolasiz, ammo natijasi bo'ladi. Stay foolish, stay hungry.


Imkoniyatlarga ochiq bo'ling. Startap qilayabsiz degani doim o'xshaydi degani emas. Startap uchun eng muhim narsa bu bozor. Bozor bo'lsa, savdo ham bo'ladi. Men muammolarni, noto'g'ri muhitda yechganim ham pand berdi. Buni inobatga olmaganim katta dars bo'ldi. Ammo quvonarlisi imkoniyatlar to'la, hali o'yin tugagani yo'q.

Avallroq Higgsfield AI kompaniyasi ish taklifi bilan chiqqanini yozgandim (o'chirib yuborganman), kecha Alex Mashrabov (CEO @ Higgsfield AI) o'zi yozibdi meeting qilishga. Bunchalik uzoqqa borishini kutmagandim. San Fransisco'da startap qilib foydaga kirgan bir necha asoschilar bilan tanishdim, ulardan mem0.ai, rilla.com, composio.dev, artisan.co, hex.co va boshqalar. Ular bilan qiziq suhbat qildik. Suhbatdan keyin ko'pchiligi jamoaga taklif qilishdi, yechayotgan muammoyimni ular bilan yechishimni aytishdi. O'zimidagi talaygina katta kompaniyalar ham takliflar bilan chiqishdi. Bu juda quvonarli senariy.


Eng yomoni 2 tanlov o'rtasida qoldim:
1. Yo orzularimdan kechib yana kimdir bilan muammo yechish.
2. Yo orzularim bilan vaqtinchalik ochlik, yetishmovchilik ammo qiziq sarguzashtga borish.

Ikkisi ham qiyin. Biri "boy bo'l" desa, ikkinchisi "istaganingga ega bo'l" deydi. Men shularni yanayam ko'proq o'rgandim va tushundim, siz ertaroq tushuning!

#experience

Hamma vibe coding qilayabdi. Bilasizmi, korxona ko'p maxsulot ishlab chiqarsa nimalar sodir bo'ladi? Ularni test qilish, ko'rikdan o'tkazish qiyinlashadi. Ko’p moshina chiqarish ko’p sotishga emas, ishlab chiqarishni butunlay to’xtashiga olib boradi.

Qayta aytmoqchi bo'lgan so'zim, AI bilan kod yozish ishni tezlashtiradi, sifatni pasaytiradi. Kod yozish oldin ham muammo emas edi. Haqiqiy muammo kodni "review" va "test" qilishda edi. Biz hali ham noto'g'ri muammoni yechayabmiz.

"AI bilan kod yozavering, qolganlarni eshitmang" deydigan yomon injenerlikka targ'ib ko'payib qolgan. Haqiqiy injenering o'rganishdan va muammo yechishdan iborat. Muammo yechayabsizmi? Unda nima muammoni qanday yechayabsiz? Shu savolni so'rab ko'ring, agar nimadir o'rganayotgan bo'lsangiz demak to'g'ri yo'ldasiz.

Avvalroq kod yozishni AI ga topshirganim haqida aytgandim. Juda ko'p ishimni yengillashtirdi, ammo juda ko'p muammo keltirib chiqa boshladi ham. Bugundan kamroq vibe coding qilishga o'tayabman. Katta va murakkab ishlar, loyihalar uchun yaramas ekan.

#experience

Dropbox'da highly distributed systems qurganmiz deb ko'p aytganman. "O'zi tizimlarni nega distribute (tarqatish) qilish kerak?" degan savolga ham javob bermoqchiman.

Ilgariroq agar dasturlar ko'proq foydalanuvchilarga xizmat ko'rsatishi kerak bo'lgan bo'lsa, insoniyat shunchaki serverlarga ko'proq va kuchliroq RAM, Disk va CPU qo'shib kuchaytirgan. Buni Vertical Scaling (chunki moshina eniga emas, bo'yiga o'sadi faqat) deb ataymiz.

Qayisidir nuqataga borib dunyodagi eng kuchli kompyuterni yasab qo'ydik ammo shu ham yetmayabdi degan muammo paydo bo'ladi. CPU cheksiz tezlasha olmaydi, chunki elektr toki bilan gaplashgani uchun juda ko'p qizib ketadi va eriy boshlaydi. Tok o'chib qolsa butun biznesingiz o'chadi degani, chunki bizda faqat bitta kompyuter bor. Serveringiz boshqa regionda bo'lsa RTT (Round Trip Time) va Latency muammolar kelib chiqadi. Xullas siz o'ylagandek ideal emas. Endi bizga lokalizatsiya va tezlik kerak.

Bitta super kompyuter o'rniga 100ta kichik kompyuterlarni tarmoq orqali bog'laymizda, ularni bitta tizim sifatida ishlashga o'rgatish fikri keladi, ya'ni Horizontal Scaling. Ammo bu yerda eng katta muammo bor, untrustworthy network (ishonchsiz tarmoq).

Networking (reklamada aylanay) yaxshi o'qiganlar buni juda yaxshi bilishadi. Tarmoqda nimadir sodir bo'lsa ikkinchi tomon bilmay qolishi yoki tarmoqda yo'qolishlar bo'lishi mumkin (Network Partition Illusion). Yokida "Split-Brain Catastrophe" muammosi yoki The Gray Network ya'ni servis healthy (sog'lom) mi deb so'rasangiz "ha" deyaveradi lekin u juda sekin bo'lgani uchun nechadir foiz trafikni tashlab yuboradi. Boshqa serverlar unga ishlayabdi deb so'rov yuboraveradi va natijada butun region cloud servisi qulashiga olib boradi.

Odatda tizimlarni kengaytirishda (scale), doim ishlab turishini ta'minlashda (Availability) va latency kamaytirish uchun lokalizatsiyalashtirishda distribute qilinadi. Chunki katta traffikga bitta eng kuchli bo'lsa ham qurilma javob bera olmaydi, biri o'chib qolsa ikkinchisi javob berishi uchun va ma'lumot foydalanuvchi regionida saqlansa unga tezroq yetib borishi uchun.

Arxitektura qilishda esa "Stateless", "Stateful" va "Consensus Protocols" degan tomonlari bor. Stateless bo'lsa oson, ma'lumot DBga saqlanadi va load balancer orqali istalgan servis o'sha yagona DB'dan ma'lumot o'qib foydalanuvchiga javob bera oladi. Stateful bo'lsa DB da muammolar paydo bo'ladi. Ma'lumotlarni maxsus key'lar orqali sharding qilasiz, va doim replica olib borasiz. "Split-Brain" muammosini yechish uchun serverlar Raft yoki Paxos algoritmlari orqali ovoz berish yo'lga qo'yishadi. Nega? Chunki tizimlar distributed, ular endi bitta emas ko'p. Va ko'pchilik rozi bo'lganda operatsiya bajarilishi kerak, chunki ma'lumotlar bir joyda emas. Va bu tushunchani "Quorum" deb atashadi.

U yerda yana vaqt muammosi ham bor ayalanay. Butun dunyo bir xil vaqtda operate qila olmaydi. CAP theorem dagi kimni qurbon qilish masalasi ham bor. Xullas juda murakkab jarayon.

Ko'pchilik yozmagan jarayon, menga buni Staff Engineer o'rgatgandi va bu "Formal Verification" deyiladi. Tizimni matematik yo'l bilan to'g'riligini topish mumkin ekan. Test qilishda biz har xil input berib, outputini to'g'ri javob bilan solishtirib olamiz. Lekin distributed systems bunday testlash doim ham ishlayvermaydi.

Formal Verification 3ta bosqichdan iborat. Specification bosqichida tizim nima qilishi kerakligini ifodalaysiz. Implementation qismida kodini yozasiz. Engine qismida implementatsiya qilgan kodiz spesifikatsiya qismida tasvirlagandek ishlashini tekshirasiz. Bu jarayon haqida juda kam bilimga egaman, shunga ko'p yoza olmayman.

Hozircha shular

#experience

Dropbox'da ishlab ko'p ajoyib narsalarga guvoh bo'lganman. Dunyo bo'ylab ko'p davlatlarda ish faoliyati yuritishiga qaramay, ishchilar soni unchalik ham ko'p bo'lmagan (muhandislar soni men kirganimda > 10k, va layoff'lardan keyin 4.9k qolgandi) kompaniya. Boshqa katta kompaniyalardan farqi bottom-up (basdan-yuqoriga) kulturasida ish yuritilardi, ya'ni muhandislar investorlarga nima ustida ishlashni aytishadi, tepadan "shuni qilasan" degan buyruq kelmaydi (81% holatda).


Meni eng ko'p lol qoldirgan narsalardan biri uni oqimga erta ba'zan vaqtida tez moslashishi bo'lgan. "Ask Max" degan servisni ko'rganimda ilk bor hayron qolgandim, men ko'rgan agentic AI. Siz undan savol so'raysiz, yoki prompt yuborasiz. U sizni promptingizni klassifikatsiya qilib, buyruqimi, savolmi yoki shu kabi ishlarni aniqlab shu asosida ish bajarardi. Eng qiziq tomoni, bu servis 2022 yilda May (yoki Mart) oyida ishga tushgan ekan test rejimda, bu degani servis undan oldinroq qurila boshlangan. Birinchi aytgan gapim "Wow, that's how it looks agentic AI systems". Aytgancha, hamma uni "Max" deb chaqirardi, bitta men uni "itvachcha" derdim. Keyin menejerimga o'rgatdim, va butun jamoa uni shunday chaqira boshlagandi :)


Staff Engineer bo'lib ishlab OpenAI jamoasi bilan ishlaganim haqida yozgandim ilgariroq. ChatGPT 5.1 chiqqan paytlari edi. Bizga ular "GPT-5.1-Codex, Mini va Max modellarimiz bor koding uchun maxsus" deyishganda juda ko'p so'raganim esimda. Keyin uni ham olib kirgandik. Birinchi bor eshitib o'ylanib qolgan gapim "Skill based development" bo'lgan. 2025 yil, Dekabr oylari edi adashmasam. "Biz skill yozib chiqamiz, u yerda to'liq instruksiya, yaxshi va yomon misollar va nimalarni qanday hohlashimizni to'liq yoritib o'tamiz. Keyin AI u asosida kod yozadi" degani esimda. Yana bir "WOW moment" bo'lgandi. Ulardan tutorial qilib berishini so'ragandim. Butun organizatsiya uchun qilgan eng yaxshi ishlarimdan biri bo'lgan deb o'ylayman, har holda ismimni unutishmaydi shu sabab.


Kompaniyadan ketishimdan 2 oy oldin, faqat dokumentatsiya yozishga o'tdim. Loyihalar bo'yicha bilgan bilimlarimni yozib, bor ammo eski bo'lgan dokumentatsiyalarni yangilab chiqish vazifasi berilgandi. Shu paytlar qandaydir coding uchun topshiriq kelsa, SKILL.md yozib, men ham "Skill based development" qilishni boshlagandim (ha to'liq AI bilan kod yozganman). Xattoki review'ni ham to'liq AI ga topshirganman, jamoadan boshqa muhandislar AI o'tkazib yuborgan xatolarni yozishardi, AI uni olib yana ustida ishlab qayta PR ochardi.


Yaqinda shu haqda o'ylab qoldim, o'zimni uslubimga mos SKILL yozib ko'rdim. Hozircha 5/10 ishlayabdi. Yaxshilash kerak joylari ko'p. Ammo coding qismdagi deyarli ko'p ishni AIga topshirishga qaror qildim. Ammo code review uchun har bir qatorni o'qib chiqishni ham odat qildim.


AI kod generatsiya qilishi mumkin, ammo code review jarayonini hali ham yaxshi bajara olmaydi, ha industriya hali ham eng muhim muammoni yechmagan. Lekin biz o'rganishimiz, va doim bir xil formada turish uchun endi ko'proq review qilishni boshlashimiz kerak. AI generates code, humans review it. Kod yozish ishimizni bir qismi, uni to'g'ri yoki noto'g'ri ishlashi bizni mas'uliyatimiz. Mas'uliyatli bo'ling!

GridWall RL Environment

Reinforcment Learning nimaligiga qiziqadiganlar uchun. Buni vizual ko'rish uchun ilgariroq bir o'yin yasagandim. Uni UI qismini AI dan yaxshilashini so'rab, sal to'g'irlab chiqardim. Kod imkon qadar oson yozilgan, iltimos qattiq kritika qilmang (yosh bo'lganmanda).

GridWall o'yinini RL muhitda o'rganish jarayoni uchun o'yin. Siz uni o'rganish jarayonini kuzatib turolasiz. Juda oddiy va qiziq proyekt

GridWall - bu qutichalardan iborat bo'lgan o'yin. Unda Start nuqtasi, Trap (tuzoq), Wall (devorlar) va Goal (So'ngi finish) bor. Agent maqsadi bu o'yinda o'ynab, Goal ga borish uchun optimal yo'lni topishga urinish. Xaritani kod orqali istalgancha o'zgartira olasiz.

Q-Learning algoritmi modellarsiz o'rganish uchun moslashtirilgan algoritm. Bu yerda hech qanday AI model yo'q, va u o'yin haqida hech narsa bilishi shart emas. Ammo u qilib ko'rib o'rganadi. Ya'ni

try action -> receive reward -> update belief

Q-Value degan joyi bor Q(state, action). U orqali qaysi state (holatda) qaysi harakat (action) yaxshi bo'lishini shunchaki so'raydi, ya'ni oddiy hashmap deb tasavvur qilsangiz bo'ladi.

Ko'proq research qilib ko'ring yana

#startup

Dropbox'da ML team kichik model train qilishgandi. Biz uni olib Reinforcement Learning muhitga tashlab uni qilayotgan ishlarini kuzatgandik. Bu joyiga to'liq to'xtala olmayman, ammo qiziq bir narsani aytmoqchiman.

Agent muhitga tushganda turli xil yo'llarni sinab ko'radi. Agentga policy beriladi va u shundan chiqib ketmaslikga harakat qiladi. U har xil oldin ko'rmagan (pre-training jarayonida) ishlarni qilib ko'rishga va model mavjud parametrlarini yangilab, muhitda foydali bo‘lgan yangi xatti-harakat strategiyalarini o'rganishga harakat qiladi. Bu yerda odam emas, muhitni o'zi baho qo'yadi, reward (mukofot) yoki penalty (jazo).

Reward funksiyasi yozib chiqiladi (MDP - Markov Decision Process), u orqali agent harakatini baholash uchun formula yozasiz. Bu avtomatlashgan protsess. Qiziq tomoni unga berilgan topshiriq bo'yicha u xato qildi. Yomon baxo olib qayta urinib ko'rib yana xato qildi, umumiy 2ta xato. Yana urinish jarayonida endi bitta xatosini tuzatdi, ammo birinchi qilgan xatosi hali ham turibdi lekin yaxshi baho oldi. Eng qiziq tomoni u qilayotgan ishini unutib qo'ydi. Bu jarayonni qayta-qayta takrorlaganimizda u ba'zan bir nechta xato qilib ko'pini tuzatganda yaxshi baxo olishi bilan eski xatolarni tuzatmadi yoki eski xatosini borligini aytaveradi ammo hech tuzatmasdan boshqa ishlar qiladi.

Bu jarayonni AI agent'lar uchun tuzatish mumkin deb o'ylayman. Ba'zi qilib ko'rgan eksperimentlarim natijasi shuni aytayabdi. Ammo LLM modellar uchun bu jarayonga ko'proq RLHF (Reinforcement Learning from Human Feedback) kerak deb o'ylayman. Ammo u yerdagi odamlar ham professional bo'lishlari kerak. Bitta kamchilik bu jarayonda professional odamlarni rozi bo'lib o'tirishi qiyin, va bu ko'p vaqt oladi. Ammo shunday qilinsa hozirgi LLM (GPT) modellar ancha aqilliroq bo'lgan bo'larmidi deb o'ylaman.

#startup

Juda kuchli founder va oddiy founder lar o'rtasidagi eng katta farq matematikada ekan. Google TPU, Nvidia GPU, Intel CPU yaratayotgan jamolar bilan suhbat qildim. Xulosa bitta, ular matematikada kuchli.

Misol uchun Dario Amodei (Anthropic), Ilya Sutskever (OpenAI), Sergey Brin (Google), Elon Musk (SpaceX, Tesla), Pavel Durov (Telegram), Jeff Bezos (Amazon), Mark Zuckerber (Meta), Vitalik Buterin (Ethereum), Nikolai Durov (Telegram), Piotr Dąbkowski (ElevenLabs) va h.k.z

Matematika tezkor va aniq fikrlashni o'stiradi. Istalgan eng zo'r ishlar ortida matematika bor. Bizda hali ham "matematika o'rganaymi?" degan savollar bo'lib turadi. G'ayrioddiy ishlarni qilish uchun sizga matematika kerak.

Hozirgi startup'im ham juda ko'p matematika talab qiladi. Deyarli nima o'rgansam ham hammasi borib matematikaga taqaladi. Chip levelda ish qilish, OS bilan chip gaplasha olishi uchun compiler qilish, compiler chipga yuborilgan instruksiyani qay tartibda bajarishiyu, bajarish algoritmlari. Bularni barchasiga matematika kerak va juda low-level bilmlar. Hech nima bilmayman, ammo juda ko'p o'rganayabman.

Matematika o'rganing!!!

Bunday research talab qiladigan g'oyaga pul tikadigan investorlar juda kam, deyarli yo'q ayniqsa O'zbekistonda. Shuning uchun to'liq vaqtim va diqqatimni bu yerga qarata olmayabman. Ba'zi narsalar uchun pul kerak, pul topish uchun short-term ba'zi narsalarga rozi bo'lish kerak. Moshina yoqilg'isiz uzoqga borolmagani kabi, biz ham resurssiz (pul, vaqt va diqqatsiz) uzoqga borolmaymiz.

Ammo umid qilamanki kelajakda biror loyiham kattalashib ketsa shunday murakkab jarayon uchun o'zini baxshida qilgan yoshlarga o'zim birinchilardan bo'lib investitsiya qilaman. Hozircha jarayondan bahraman bo'layabmiz.