RAG birinchi qarashda oddiy: hujjatni bo'lasan, embedding qilasan, vector DB'ga solasan, LLM'ga berasan. Tayyor =)

Keyin retrieval noto'g'ri chunk qaytaradi, siz esa 2000 qatorli main.py ichida qayerdan qidirishni bilmaysiz )))

LinkedIn'da yaxshi eslatma ko'rdim: RAG loyihasini pipeline bosqichlari bo'yicha bo'lish kerak:
— ingestion / chunking / embeddings
— vectordb / retrieval
— prompts / llm / api
Config, secrets, tests, logs ham alohida.

Shunda model yoki vector DB almashtirish butun loyihani titib chiqishga aylanmaydi.

Men bunga yana bitta papka qo'shardim: evals/. Struktura bu ishning yarmi xolos. Retrieval sifatini o'lchamasangiz, qaysi modul aybdor ekanini baribir bilmaysiz.

Pet-project RAG qilsangiz, shu strukturadan boshlang. Intervyuda "arxitekturani tushuntiring" deyishsa, javobingiz tayyor bo'ladi.

Sizda RAG'ning qaysi qismi birinchi bo'lib chalkashib ketadi: chunking'mi, retrieval'mi yoki prompt'lar?

Manba: https://lnkd.in/p/e8BYw2UB