#all #development #ai #llm #localllm #chatgpt

В нашем магазине (https://digitable.ru) появилась новая опция "Поднять сервер с большой языковой моделью (как chatGPT)", расскажу только про устройство самого сервера что и к чему, в закрепленном комментарии найдете пошаговый гайд по развертыванию.

Итак, вариантов открытых моделей крайне много, но вот их лицензирование проблематично, самые распространенные:
- Llama (https://github.com/meta-llama/llama)
- GPT4All (https://github.com/nomic-ai/gpt4all)

Причем они также позволяют вам подключаться к chatGPT от OpenAI, но нас интересует следующая модель под названием Nous Hermes 2 Mistral DPO
У неё 7 миллиардов параметров, требует 8 GB RAM, а самое главное Licensed for commercial use.

Если открыть Hugging Face, то найдем следующее: https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO

Разумеется целый ряд benchmark-ов, по своему опыту на Metal от Apple скажу, что работает шустро, когда генерит простые ответы на вопросы. Ограничений никаких нет. Спросите сгенерировать ген. алгоритм зависнет на минуты 3, так как задача сложная, в остальном для "быстрой википедии" работает быстро.

#advice : Если просите сгенерировать код, неважно у какой модели, просите генерировать на Python, они все хорошо его знают, а потом просите сконвертировать полученный Python код на нужный вам язык, этот метод лучше, чем просто пробовать генерировать сразу код на JavaScript


Как дообучить ту же LLaMA можно почитать тут https://habr.com/ru/articles/755114/

Наша задача получить рабочее API для коммуникации. Гайд в комментах


А если хочешь чаще читать наши публикации и быть в курсе вообще всего, то для доступа к нашим публикациям переходи в канал @digitable_blog , а еще разные услуги можно найти в нашем интернет-магазине https://digitable.ru/

Ставьте Ваши реакции и задавайте вопросы в комментариях, они помогают стать нам лучше!

Have a fun!