Запуск локального ИИ - это способ получить быстрый отклик, приватность и контроль над моделью без зависимостей от облака.
Главное - использовать лёгкие модели и готовые инструменты, чтобы не упереться в нехватку памяти и долгую настройку окружения. Ниже — примеры, которые позволяют сразу начать работу: чат, генерация кода, запуск через Python и HTTP API.
Запуск модели в терминале (чат)
# Чат с моделью прямо в терминале
ollama run mistral
# Модель, заточенная под код
ollama run codellama
# Запуск локального сервера Ollama
ollama serve