Для тех кто давно хотел локально запустить опенсорсную LLM, но не очень программист:

💫Пошаговая инструкция по локальной установке LLaMA на ПК без кодинга.

Шаг 1: Установка Ollama

Перейдите на сайт ollama.com и скачайте приложение Ollama для вашей ОС

Шаг 2: Скачивание модели LLaMA

Вернитесь на сайт ollama.com

В строке поиска "Search Models" найдите модель "llama-3.21-7b" (рекомендуется для слабого железа) или другую желаемую модель.

Скопируйте команду установки модели из блока справа

Шаг 3: Запуск LLaMA в терминале

Откройте терминал:

В macOS: Command + пробел, наберите "Терминал" и нажмите Enter.

В Windows:

Способ 1 (классический терминал): Нажмите Win + R, введите cmd и нажмите Enter.

Способ 2 (PowerShell): Нажмите Win + X, выберите "Windows PowerShell" или "Терминал Windows".

Способ 3 (поиск): Нажмите Win, начните набирать "cmd" или "powershell" и выберите соответствующее приложение.

Вставьте скопированную команду в терминал и нажмите Enter. Начнется скачивание модели. 3.12 весит 4.7gb

После завершения скачивания, вы можете задавать вопросы модели прямо в терминале. Введите: ollama run llama3.1 и затем ваш вопрос.

Шаг 4 (Опционально): Установка интерфейса Open Web UI через Docker (для более удобного использования)

Установка Docker:

Перейдите на сайт docker.com и скачайте Docker Desktop для вашей операционной системы.

Установите Docker Desktop и создайте аккаунт (или войдите в существующий).

Установка Open Web UI:

Убедитесь, что Ollama не запущена (в терминале, где запущена модель,  выполните команду /bye, затем закройте терминал).

Перейдите на сайт https://docs.openwebui.com/

Найдите инструкции по установке с Docker. Скопируйте команду для установки text-generation-webui (docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main).

Вставьте скопированную команду в терминал и нажмите Enter. Дождитесь завершения установки.

Запуск Open Web UI:

После установки text-generation-webui в Docker, в терминале будет указан адрес для доступа к интерфейсу (начинается с http://localhost:). Скопируйте этот адрес.

Откройте браузер и вставьте скопированный адрес в адресную строку.

В интерфейсе Open Web UI выберите вашу модель LLaMA и начните общени

е.

🔜Инструкция предполагает базовое знакомство с терминалом.

🔜Процесс скачивания модели может занять значительное время.

🔜Если вы не хотите использовать Docker и Open Web UI, вы можете взаимодействовать с LLaMA напрямую через терминал с помощью Ollama.

🔜Для Windows PowerShell, может потребоваться разрешить запуск скриптов. Выполните команду: Set-ExecutionPolicy RemoteSigned.

🔜Скорость (и возможность) работы модели зависит от железа

Не ожидайте чудес, если вы искали способ отписаться от GPT и сэкономить $20 в мес, то это не он ))