Мне локальный запуск нужен для портирования продуктов с ChatGPT-4 на локальные модели. Поэтому с модельками работаю не через UI, а программно, чтобы запускать все тесты на всех моделях и стоить матрицу совместимости задач с моделями.
Дано:
- Apple Mac Air (M2 + 24GB)
- llama-cpp-python - питоновская обертка вокруг llama.cpp, которая позволяет запускать модели хоть на CPU (либо выгружать часть слоев на GPU)
- папочка с ggml моделями, которые выкачиваю с hugging face (ggml - это формат, который понимает llama.cpp и куча других приложений)
Причем, mac не обязателен. Можно хоть на RaspberryPi поднять, просто будет меееедленно работать.
Запускать можно так:
```
>>> from llama_cpp import Llama
>>> llm = Llama(model_path="./models/7B/ggml-model.bin")
>>> output = llm("Q: Name the planets in the solar system? A: ", max_tokens=32, stop=["Q:", "\n"], echo=True)
>>> print(output)```
Можно еще использовать саму llama.cpp, чтобы делать то же самое из коммандной строки, там даже есть интерактивный режим, если хочется ChatGPT с исторей.
Если же хочется GUI, то можно посмотреть:
- LM Studio - запускатор локальных моделей
- GPT4All - интерфейс и экосистема для обучения и запуска моделек локально
- oobabooga - гуйня для запуска и тюнинга локальных моделей
- koboldcpp - визуальная обертка вокруг llama.cpp
- MLC Chat - запускать модели даже на своем телефоне 🤯
Если хочется выбрать лучшую модель, которую потянет ваша система, то статья на LocalLLaMA поможет.
Cсылками на LMStudio, GPT4ALL, MLC Chat и LocalLLama поделился в чатике. A P. Спасибо!
Ваш, @llm_under_hood 🤗