LocalAI - движок искусственного интеллекта с открытым исходным кодом. Запускайте любые модели -
LLM, компьютерное зрение, речь, изображения, видео - на любом оборудовании. Графический процессор не требуется.Возможности:
- небольшое ядро, а не пакет. Каждый бэкенд использует лучший в своем классе движок (
llama.cpp, vLLM, whisper.cpp, stable-diffusion, MLX...) в собственном образе, который загружается только тогда, когда это необходимо модели. - по своей конструкции это модульная система: бэкэнды разделены и загружаются по запросу, поэтому вы устанавливаете только то, что необходимо вашей модели.
- открытый и расширяемый: загружайте любые модели или создавайте собственный бэкэнд на любом языке, используя открытый интерфейс.
- совместимость с
API без дополнительных настроек: API OpenAI, Anthropic и ElevenLabs доступны во всех бэкэндах.- любая модель, любой формат:
LLM, зрение, голос, изображение и видео - все это доступно через один API.- любое оборудование:
NVIDIA, AMD, Intel, Apple Silicon, Vulkan или только процессор.- поддержка многопользовательского режима: аутентификация по
API-ключу, квоты для пользователей, доступ на основе ролей.- встроенные агенты ИИ: автономные агенты с использованием инструментов,
RAG, MCP и навыков.- конфиденциальность превыше всего: ваши данные никогда не покидают вашу инфраструктуру.
https://github.com/mudler/LocalAI
Опубликовано в @gitgate
#ai #llm #cpu #llama #vllm #rag #mcp