Docker Model Runner (DMR) упрощает управление, запуск и развертывание моделей ИИ с помощью Docker.

Разработанный для разработчиков, Docker Model Runner оптимизирует процесс загрузки, запуска и обслуживания больших языковых моделей (LLM) и других моделей ИИ непосредственно из Docker Hub или любого реестра, совместимого с OCI.

Работает и в Docker Desktop для Window или MacOS, для нативного Linux - устанавливается в виде Docker plugin

https://github.com/docker/model-runner

Опубликоввано в @gitgate

#docker #ai #model