TGViewer
🍳 Датазавтраки ☕️ НСК (Академ) 🍳 Датазавтраки ☕️ НСК (Академ) @databreakfast · 708 subscribers
Post #1637 313
2) векторный индекс, максимально тупо
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core import VectorStoreIndex
from llama_index.core.node_parser import SentenceSplitter
from llama_index.core import SimpleDirectoryReader
from llama_index.core import Settings


HF_TOKEN = "Ваш токен на Hugging Face"

embeddings = HuggingFaceEmbedding(
model_name="google/embeddinggemma-300m",
query_instruction="task: search result | query: ",
text_instruction="title: none | text: ",
token=settings.HF_TOKEN,
)

Settings.embed_model = embeddings


documents = SimpleDirectoryReader("./data").load_data()
splitter = SentenceSplitter(chunk_size=512, chunk_overlap=256)
index = VectorStoreIndex.from_documents(
documents, transformations=[splitter], embed_model=embeddings
)
index.storage_context.persist(persist_dir="./vector")
  • ❤ 1
More from @databreakfast
  1. Oct 11, 2026Датафест кончился, а датазавтраки остались. 13.10.2026 🍳 датазавтрак по вторникам ☕️ в Но…
  2. Oct 10, 2026мой доклад с датафеста с пометками
  3. Oct 7, 2026https://ods.ai/events/datafestsiberia7
  4. Oct 6, 2026Еще я рассказывал про оценку ИИ-систем, но на полях этого двухчасового датазавтрака мне не…
  5. Oct 6, 2026Опять говорили про игру-построй-компьютер-с-нуля https://ershovcomputer.ru/ она того стоит
  6. Oct 6, 2026Говорили про локальные кодовые модели на Mac Studio или 4х5090 - я бы пробовал https://oll…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →