Если хочешь запускать модели вроде Qwen, Llama или Mistral прямо на своем Mac — обрати внимание на проект Osaurus. Это open-source сервер для локального запуска LLM, который полностью оптимизирован под Apple Silicon и работает через MLX — фреймворк машинного обучения от Apple. По сути он превращает твой Mac в локальный AI-сервер, к которому можно обращаться как к OpenAI API.
Самое интересное — он полностью локальный. Модели скачиваются и запускаются прямо на твоем устройстве, поэтому данные никуда не отправляются и интернет вообще не обязателен. Поддерживаются популярные модели вроде Qwen, Llama, Gemma и Mistral, а при необходимости можно подключать и облачные провайдеры вроде OpenAI или
Для разработчиков это особенно удобно. Osaurus предоставляет API, совместимый с OpenAI и Ollama, поэтому многие существующие инструменты и библиотеки работают без изменений. Можно подключать агентов, плагины, автоматизацию задач и даже давать ИИ доступ к файлам, git-репозиториям или браузеру.
Если давно хотел локальный ИИ прямо на ноутбуке — это один из самых удобных и быстрых способов начать.
установка через Homebrew
brew install --cask osaurus
запуск локального AI-сервера
osaurus
проверить список моделей
curl http://127.0.0.1:1337/v1/models
# пример запроса как к OpenAI API
curl http://127.0.0.1:1337/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3.2-3b-instruct-4bit",
"messages": [
{"role":"user","content":"Explain transformers in simple words"}
]
}'
репозиторий проекта
https://github.com/osaurus-ai/osaurus
🎯Полезные Мл-ресурсы 🚀 Max
https://www.youtube.com/shorts/KCvJKHE1tw0