🐳 Локальные LLM на винде

Docker добавили поддержку vLLM в Docker Model Runner на Windows через Docker Desktop с WSL2 и NVIDIA GPU. Теперь можно гонять высокопроизводительный inference LLMов локально почти теми же командами, что и в Linux.

Базовый сценарий: включаете Model Runner, ставите backend vLLM с CUDA и запускаете подготовленные образы с суффиксом -vllm:

docker desktop enable model-runner --tcp 12434
docker model install-runner --backend vllm --gpu cuda

docker model run ai/smollm2-vllm "Tell me about Docker."

➡️ Блог разработчиков

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека devops'a

#арсенал_инженера