Generative AI: “⚡️ Как запустить Qwen у себя на ПК с Python Совет: если хочешь разверн…”

⚡️ Как запустить Qwen у себя на ПК с Python

Совет: если хочешь развернуть Qwen локально без облака, проще всего поставить её через Transformers - модель скачивается один раз и дальше работает офлайн.

Подходит даже для слабых ПК, если брать маленькие версии (например, Qwen-2.5-1.5B-Instruct).


# Установка:
# pip install transformers accelerate torch

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

MODEL_NAME = "Qwen/Qwen2.5-1.5B-Instruct"

# Модель и токенайзер загрузятся один раз — потом работают офлайн
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    device_map="auto"   # автоматически использует GPU, если есть
)

prompt = "Объясни простыми словами, чем контейнер отличается от виртуальной машины."

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=200,
    do_sample=True,
    temperature=0.7
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

https://www.youtube.com/shorts/xq69dAtRigU