Запуск AI-моделей локально (способ 2)

Запускать ai модели ещё можно через ollama

Функции почти те же, что и у Docker:
– есть GUI
– устанавливается одной командой
– есть hub моделей
– гибкие настройки
– поддержка openai api
– есть возможность запуска моделей с Hugging Face (в формате GGUF)
– большое комьюнити

Читать: Запуск моделей локально через Ollama

SemolinaCode | Chat | YouTube | HowToCode | Prop