🖥 NaturalQuery-6.7B-v0.1

NaturalQuery - это LLM, который может переводить запросы на естественном языке в SQL на основе вашей схемы.

NaturalQuery-v0.1 отлажен на 8k парах "текст запрос PostgreSQL <>".


Убедитесь, что у вас установлена правильная версия библиотеки transformers:

pip install transformers==4.35.2

Загрузка модели
Используйте следующий код Python для загрузки модели:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("cfahlgren1/NaturalSQL-6.7B-v0")
model = AutoModelForCausalLM.from_pretrained(
"cfahlgren1/NaturalSQL-6.7B-v0",
device_map="auto",

torch_dtype=torch.float16,
)

Генерация текста
Чтобы сгенерировать текст, используйте следующий код на Python.

messages=[
{ 'role': 'user', 'content': prompt}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

# 32023 is the id of <|EOT|> token
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=32023)

print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

▪Подробнее

@sqlhub