🍳 @databreakfast
Showing posts older than #1653 · Back to latest
Forwarded from Минцифра Новосибирской области
«В стенах новосибирских вузов зарождаются уникальные проекты, создаются передовые решения. Очень важно, чтобы работа не прекращалась на этапе идеи или создания опытного образца, наша цель — чтобы технологии внедрялись в различных отраслях, масштабировались и работали на повышение качества жизни в области. Форум «Золотая долина» этому способствует. Это площадка для прямого диалога учёных, индустриальных партнёров и госсектора. Все мы нацелены на решение задач технологического лидерства и цифровой трансформации. В программе этого года приоритетные направления работы минцифры региона — искусственный интеллект, беспилотные авиационные системы, безопасный и умный город. Обсудим дальнейшие шаги по укреплению позиций Новосибирской области как центра ИТ-компетенций», — подчеркнул министр Сергей Цукарь.
Forwarded from Время Валеры
Forwarded from kertar
#!/usr/bin/env python3
from llama_index.retrievers.bm25 import BM25Retriever
from llama_index.llms.ollama import Ollama
from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core import load_index_from_storage, StorageContext
from llama_index.core import Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core.retrievers import QueryFusionRetriever
from llama_index.core.retrievers.fusion_retriever import FUSION_MODES
HF_TOKEN = "Ваш токен на Hugging Face"
embeddings = HuggingFaceEmbedding(
model_name="google/embeddinggemma-300m",
query_instruction="task: search result | query: ",
text_instruction="title: none | text: ",
token=settings.HF_TOKEN,
)
llm = Ollama(
model="qwen3:latest",
request_timeout=120.0,
base_url="АДРЕС ВАШЕЙ ОЛЛАМЫ",
thinking=False,
)
Settings.embed_model = embeddings
Settings.llm = llm
loaded_bm25_retriever = BM25Retriever.from_persist_dir("./bm25_retriever")
# query_engine = RetrieverQueryEngine.from_args(retriever=loaded_bm25_retriever, llm=llm)
storage_context = StorageContext.from_defaults(persist_dir="./vector")
index2 = load_index_from_storage(storage_context)
vector_retriever = index2.as_retriever(similarity_top_k=2)
# QUERY_GEN_PROMPT = (
# "You are a helpful assistant that generates multiple search queries based on a "
# "single input query. Generate {num_queries} search queries, one on each line, "
# "related to the following input query:\n"
# "Query: {query}\n"
# "Queries:\n"
retriever = QueryFusionRetriever(
[vector_retriever, loaded_bm25_retriever],
similarity_top_k=2,
num_queries=4, #Делать 4 варианта перефразирования, поставьте 1 для отключения перефразирования
mode=FUSION_MODES.RECIPROCAL_RANK,
use_async=True,
verbose=True,
# query_gen_prompt="...", # we could override the query generation prompt here
)
query_engine = RetrieverQueryEngine.from_args(retriever=retriever, llm=llm)
r = query_engine.query(query)
print(r)
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core import VectorStoreIndex
from llama_index.core.node_parser import SentenceSplitter
from llama_index.core import SimpleDirectoryReader
from llama_index.core import Settings
HF_TOKEN = "Ваш токен на Hugging Face"
embeddings = HuggingFaceEmbedding(
model_name="google/embeddinggemma-300m",
query_instruction="task: search result | query: ",
text_instruction="title: none | text: ",
token=settings.HF_TOKEN,
)
Settings.embed_model = embeddings
documents = SimpleDirectoryReader("./data").load_data()
splitter = SentenceSplitter(chunk_size=512, chunk_overlap=256)
index = VectorStoreIndex.from_documents(
documents, transformations=[splitter], embed_model=embeddings
)
index.storage_context.persist(persist_dir="./vector")
from llama_index.core import SimpleDirectoryReader
from llama_index.core.node_parser import SentenceSplitter
from llama_index.retrievers.bm25 import BM25Retriever
import Stemmer
documents = SimpleDirectoryReader("./data").load_data()
splitter = SentenceSplitter(chunk_size=512, chunk_overlap=256)
nodes = splitter.get_nodes_from_documents(documents)
bm25_retriever = BM25Retriever.from_defaults(
nodes=nodes,
similarity_top_k=2,
stemmer=Stemmer.Stemmer("russian"),
language="russian",
)
bm25_retriever.persist("./bm25_retriever")
from yandex_cloud_ml_sdk import YCloudML
from yandex_cloud_ml_sdk.search_indexes import (
HybridSearchIndexType,
TextSearchIndexType,
StaticIndexChunkingStrategy,
ReciprocalRankFusionIndexCombinationStrategy,
)
sdk = YCloudML(
folder_id="ID проекта",
auth="КОД АВТОРИЗАЦИИ",
)
instruction = 'ПРОМПТ КАКОЙ_ТО'
# Пример того, как загружаются данные в поисковый индекс
# file = sdk.files.upload("all.txt")
#operation = sdk.search_indexes.create_deferred(
# [file],
# index_type=HybridSearchIndexType(
# chunking_strategy=StaticIndexChunkingStrategy(
# max_chunk_size_tokens=512,
# chunk_overlap_tokens=256,
# ),
# combination_strategy=ReciprocalRankFusionIndexCombinationStrategy(),
# ),
#)
# hybrid_index = operation.wait()
hybrid_index = sdk.search_indexes.get(ИДЕНТИФИКАТОР СОЗДАННОГО ИНДЕКСА)
hybrid_tool = sdk.tools.search_index(hybrid_index)
model = sdk.models.completions("yandexgpt", model_version="rc")
assistant = sdk.assistants.create(model, tools=[hybrid_tool], instruction=instruction)
hybrid_index_thread = sdk.threads.create()
query = "Ваш вопрос по датасету"
hybrid_index_thread.write(query)
run = assistant.run(hybrid_index_thread)
result = run.wait().message
print("\n".join(result.parts))
Forwarded from Lev
