Engineering Notes

Savoldan oldin javobni yuboribmanku ))

#savol
Can anybody explain in simple words to me
What does INCLUDE does in CREATE INDEX?

#javob

It includes non-index column values to the actual index (b-tree).

Let's say you have a table named "users" with id, name and a bunch of other columns.
If you include name column in the index on id field:
CREATE INDEX
idx_user_id_include_name
ON users(id)
INCLUDE name;

Each time you query that uses this index and only asks for the columns on the index:

SELECT id, name 
FROM users
WHERE id = 1;

PostgreSQL doesn't necessarily go to the actual table after finding the required row, since it can find both id and name field on the index. This is called index-only scan.

If you query some other columns (let's say age), PostgreSQL first finds the required row id from the index and go to that row on the table to get age value, since it's not presented on the index. Searching on the index and fetching from the actual table. This is called index scan.

Ungacha bir ikkita eski postlarni repost qilib turaman.
Yoqsa like bosing, yoqmasa...yam like bosib qo'yavering ))

O'rtog'lar, bu kanalga faqat ilhom kelganida post yoza olaman.
Havotir olib, so'raganlarga rahmat.
Kimdir keyingi postni kutayotganidan xursandman.
Bollar, biz yutamiz 🙂

Nima?
Nega?
Qanday?

O'rganish uchun men biladigan (va qo'llaydigan) eng yaxshi ketma-ketliklardan biri.
Top-down approach. Kimgadir yoqmasligi mumkin, lekin menga yoqadi.

Siz ham menga o'xshab bir vaqtda Pythonning bir nechta versiyalari bilan bir vaqtda ishlashingizga to'g'ri kelsa va versiyalar orasida oson almashish yo'lini izlayotgan bo'lsangiz, pyenv ni ishlatib ko'rishni tavsiya qilaman.
Yengil va foydalanishga oson.

EuroPython 2021 da Sebastian Witowskining shu haqidagi talkini ko'rganimdan beri pyenv ishlataman.
Hozircha biror marta pand bermadi.

The feeling of power when you correct someone smarter than you ))

RDBMS, umuman DBMSlar haqida 20 ta savol.
Qolganlaridan qiyinroq savollar * bilan belgilangan.


1. ACID xususiyatlaridan biri bo'lgan atomicity nimani bildiradi?

2. RDBMSlarda qaysi holatlarda denormalizatsiya qilish foydali hisoblanadi?

3. Database cursor nima? Server-side cursorning client-side cursordan ustun tomoni qaysi?

4. Database engine nima?

5. Read committed va repeatable read izolyatsiya darajalarining orasidagi asosiy farq nimada?

6. Pessimistic Concurrency control nima? Uning qanday kamchiliklari bor?

7*. Transaction snapshot nima?

8*. Serialization anomaliyalaridan biri bo'lgan rw-conflict qachon sodir bo'ladi?

9. Connection pool haqida ma'lumot bering.

10. Clustered index bilan non-clustered indexning farqi nimada?

11*. B-tree va B+tree orasidagi farq nimada?

12. Master va slave replicalar orasida to'liq consistencyni qanday ta'minlash mumkin?

13. Database sharding nima?

14*. Row-based storage nima? U nima uchun OLAP operatsiyalari uchun yaxshi tanlov emas?

15*. WAL nima?

16. PostgreSQLda vacuuming nima?

17. PostgreSQLda index scan va index-only scan bir-biridan qanday farq qiladi?

18. PostreSQLda view nima?

19. PostgreSQLda ANALYZE buyrug'i nima vazifani bajaradi?

20*. PostgreSQLda SELECT FOR UPDATE komandasi nima vazifani bajaradi?


P.S. Bu savollardan ba'zilari backend developer uchun texnik intervyularda tushishi mumkin.

P.S.2. Agar to'g'ri javoblaringiz soni 20 dan kam bo'lsa tabriklayman, o'rganish uchun sizga yangi mavzu topildi.

Mostly asked tech books and their prices:
Clean Code: 45$
Grokking algorithmms: 45$
Cracking coding interview: 55$
System design interview: 47$

Contact: @booktrain_bot to order these books

Postdan olingan 2 ta xulosa:
1. Taksistlar siyosat tugul dasturlashni ham "qoyillatib" qo'yadi.
2. Talabalar pul tejash uchun har baloni o'ylab topadi.

Rostini aytganda, bu hazil edi (faqat biroz intellektual). "😁" emoji bosganlarning hammasi hazilni tushungan deb umid qilaman. JR aytganidek, endi postlarimga bunisi hazil, bunisi rost deb qo'shib ketaman.

***

Endi postning o'zi haqida.

Nagle's algorithm, TCP delayed ACK, bir-biridan vahimali nomlar juda murakkab tuyulayaptimi? Keling odam tushunadigan tilda gaplashamiz.

Tasavvur qiling 25 ta kursdosh Samarqandga taksida bormoqchisizlar. 6 ta taksiga 4 kishidan 24 kishi yo'lga chiqib ketdi, lekin yana bir kishi qoldi. U o'zi bitta taksiga chiqdi, lekin taksist hali haydamaydi. Nega? Sababi, u hali "to'lmadi". Yana 3 ta odam olsa, keyin yuradi. Faqat 1 kishi bilan haydash o'ziga qimmatga tushadi (metan qimmat). Oddiy mantiq. Xuddi shu narsaning network engineeringdagi nomi Nagle's algorithm deyiladi. Taksi bu TCP segment, talabalar - yuborilayotgan ma'lumot. Oxirgi, to'lmay qolgan segmentga yana data kelmagunicha yoki oldinroq yuborilgan segmentlar uchun ACK kelmagunicha (sheriklari biz Samarqandga yetib keldik demagunicha).
Foydali tomoni - resurslar tejaladi. Zararli tomoni - "kimdir" kech qoladi.

Delayed ACK esa xuddi shu voqeaning davomi, faqat Samarqandda.
Studentlar yetib borganidan keyin yetib keldim deb qolganlarga xabar berishi kerak, lekin xabar berish juda qimmat turadi, studentlar esa tejamkor.
Shunda bittasining aqli ishlab qoladi: hamma alohida-alohida telefon qilmaydi, bir kishi telefon qilib hamma kelganlarni aytib chiqadi (Karl, bizning studentlar tejash uchun nimalarni o'ylab topmagan). Lekin u qachon telefon qiladi? Endi telefonni o'chirganida yana bir kishi yetib kelsa u uchun yana alohida telefon qilish kerakku? Oddiy, yana yarim soat (bu bir misol uchun) kutamiz, hech kim kelmasa telefon qilamiz. Xuddi shu narsa networkingda TCP delayed ACK deyiladi. Studentlar segmentda yetib kelgan ma'lumot, telefon esa server tomonidan segment yetib kelgani haqida yuboriladigan ACK signali.
Foydali tomoni - resurslarni tejaydi. Zararli tomoni - "narigi taraf" segment yetib kelganini kechroq biladi.

Xo'sh, endi qiziq joyi: agar tepadagi ikkita holat bir vaqtda bo'lsa nima bo'ladi.
1 ta student haliyam taksida kutib o'tiribdi. Ketish uchun yo taksi to'lishi kerak, yo yetib borgan sheriklari telefon qilishi kerak. Aksiga olib, boshqa ketadigan odam yo'q, endi sheriklarni kutish kerak. Lekin sheriklar nega telefon qilmayapti? Qizig'i, Samarqandda sheriklari telefon qilmay, hozir sherigimiz kelsa hammamiz bittada telefon qilamiz deb buni kutib o'tiribdi. Bu taksida qolganlarni kutib o'tiribdi, qolganlar Samarqandda buni kutib o'tiribdi, bu nimanidir eslatmayaptimi? DEAD LOCK! Faqat farqi, Samarqanddagilar oxiri sabri tugab, "shuncha kutdik, kelmasang ayb bizdamas" deb telefon qiladi. Taksida o'tirgan talaba buni ko'rib, "4 kishiga to'layman, haydang" deb bir o'zi bitta taksida ketadi. Muammo hal bo'ldi, lekin juda ko'p vaqt bekorchi o'tib ketdi.

Xuddi shu narsa network engineeringda ham bo'lib turadi. Bu tarafda sender segment to'lishini kutadi, narigi tarafda reciever ACK yubormasdan qolgan segment kelishini kutadi, natijada connection UZOQ VAQT "qotib" qoladi.

P.S. Tepadagi postning ma'nosini tushungan bo'lsangiz, endi kulavering ))

Nagle's algorithm + delayed acknowledgment = ❤️

Xususiy bankdan $1.5M o'g'irlandi va bu katta ehtimol bilan bizning sohamizdagilarning xatosi bilan sodir bo'ldi. Bu qolganlarga dars bo'lishi kerak.
Biz esa hamma kanalda anavi .NETchi yigitni muhokama qilayapmiz.

Multithreading is just async, but implemented on a lower level.
Change my mind.

P.S. Discussion ochiq deb e'lon qilaman ))

"A Philosophy of Software Design" kitobi muallifi, Stanford universiteti professori John Ousterhout TCP datacenterlarda ishlatish uchun ancha noqulay, Homa protocolga o'tish kerak deb hisoblayapti.
E'tiborimni tortgan jihati, paperda TCPning faqat negativ tomonlari, Homaning faqat pozitiv tomonlariga urg'u berilgan. Balki menga shunday tuyuldi.

Qiziq, kompaniyalar rostdan ham datacenterlardagi communicationni Homaga o'tkazishga qaror qilsa kim birinchi bo'larkin?

DB haqidagi postga comment:
— Backend engineer databaseni yaxshi bilishi qanchalik muhim?
Networking haqidagi postga comment:
— Bularni backend developer bilishi shartmi?
Languagening ichki komponentlari haqidagi postdan keyin:
— Bu ancha chuqur narsalar, bu backendchilarga kerakmi?
System design haqidagi postdan keyin:
— Bu savollar intervyularda so'raladimi?
...

O'rtog'lar, bular kerak bo'lmasa backend engineerning vazifasi nima o'zi?😅