⚡️ Полезный список лучших инструментов, чтобы запускать мощные LLM полностью бесплатно и локально на своём ноутбуке. Сейчас это №1 в трендах GitHub.

1. AnythingLLM
All-in-one workspace для чата с документами и создания агентов
http://github.com/Mintplex-Labs/anything-llm

2. KoboldCpp
Лёгкий инструмент, особенно хорош для creative writing и сценариев с персонажами
http://github.com/LostRuins/koboldcpp

3. llama.cpp
Базовый движок. Очень эффективный и запускается почти на любом железе
http://github.com/ggml-org/llama.cpp

4. Open WebUI
Удобный веб-интерфейс в стиле ChatGPT, отлично работает с Ollama
http://github.com/open-webui/open-webui

5. GPT4All
Простое desktop-приложение со встроенным чатом по документам
http://github.com/nomic-ai/gpt4all

6. LocalAI
OpenAI-compatible API, который работает на разном железе и поддерживает много backend’ов
http://github.com/mudler/LocalAI

7. vLLM
Быстрый inference engine, когда нужны более быстрые ответы и работа в масштабе
http://github.com/vllm-project/vllm

@data_analysis_ml