Big Data AI: “🖥 PYTHON: DEEPSEEK ЛОКАЛЬНО У СЕБЯ Запуск DeepSeek у себя

🖥 PYTHON: DEEPSEEK ЛОКАЛЬНО У СЕБЯ

Запуск DeepSeek у себя - это не “поставил pip и готово”. Правильный путь в 2026 - поднять локальный OpenAI-совместимый сервер через vLLM и уже к нему подключаться из Python.

Так ты получаешь нормальную скорость, батчинг, стриминг и один API для любых проектов. Самая частая ошибка - пытаться “загрузить модель в скрипт” и ловить OOM или тормоза. Вместо этого запускай модель как сервис, а Python используй как клиента.


1) Установи vLLM (нужна NVIDIA GPU + CUDA)
pip install vllm openai
2) Запусти локальный OpenAI-совместимый сервер (пример: DeepSeek-Coder 6.7B Instruct)
python -m vllm.entrypoints.openai.api_server \
--model deepseek-ai/deepseek-coder-6.7b-instruct \
--dtype auto \
--port 8000 \
--gpu-memory-utilization 0.90
3) Подключайся из Python как к OpenAI API

from openai import OpenAI

client = OpenAI(
base_url="http://localhost:8000/v1
",
api_key="local"
)

resp = client.chat.completions.create(
model="deepseek-ai/deepseek-coder-6.7b-instruct",
messages=[{"role": "user", "content": "Сгенерируй SQL-запрос для поиска дублей по email"}],
temperature=0.2
)

print(resp.choices[0].message.content)