Docker Model Runner: vLLM и safetensors для высокопроизводительного инференса

Согласно анонсу Docker, Model Runner теперь интегрирует движок vLLM и поддержку safetensors — масштабируйте инференс LLM от локального прототипа до Nvidia‑кластеров, сохраняя привычный Docker‑workflow. Что нового на сайте Docker

На официальном сайте Docker перечислены Swag Store, Brand и Trademark Guidelines, вакансии, контакты, выбор языков и правовые документы (Terms, Privacy, Cookie Settings).

Подробности: https://www.docker.com/blog/docker-model-runner-integrates-vllm/

#en

@devo_pes | Другие наши каналы