Docker Model Runner получил поддержку vLLM на Windows

Docker Model Runner теперь работает с vLLM в Docker Desktop на Windows (WSL2 + NVIDIA GPU). Это даёт возможность запускать высокопроизводительный inference локально, тестировать модели с -vllm и экономить на облачных запросах. Подробнее в статье.

Подробности: https://www.docker.com/blog/docker-model-runner-vllm-windows/

#en

@devo_pes | Другие наши каналы