Stanford SAIL замерили, насколько эффективно локальные языковые модели конвертируют электроэнергию в полезные вычисления и назвали этот показатель "intelligence per watt".
Они прогнали больше миллиона реальных запросов через 20+ моделей на 8 разных ускорителях и выяснили: с 2023 по 2025 год эффективность локального инференса выросла в 5,3 раза, а современные небольшие модели уже справляются с 88,7% обычных чат- и ризонинг-запросов. Железо и алгоритмы готовы, но не хватало софта.
Так появился OpenJarvis: открытый фреймворк, который превращает эти выводы в инфраструктуру для персональных ИИ-агентов, работающих на устройстве пользователя.
Авторы проводят параллель с PyTorch: OpenJarvis должен стать для локального ИИ тем, чем PyTorch стал для глубокого обучения - стандартной инфраструктурой, на которой строится все остальное.
Фреймворк структурирован вокруг 5 примитивов:
🟢Intelligence - слой языковых моделей с единым каталогом, где не нужно самому отслеживать релизы и считать память.
🟢Engine - бэкенд инференса: Ollama, vLLM, SGLang, llama.cpp, Apple Foundation Models и другие. Openjarvis сам определяет железо и рекомендует конфигурацию.
🟢Agents - слой поведения: роли оркестратора и исполнителя рутинных сценариев, адаптированные под ограниченный контекст и память на устройстве.
🟢Tools & Memory - интеграции через MCP и Google A2A, семантическая индексация локальных документов, подключение к iMessage, Telegram и т.д.
🟢Learning - механизм адаптации: локальные трейсы превращаются в обучающие данные через SFT, LoRA и GRPO. Система сама упаковывает этот процесс в рабочий флоу.
Отдельная фишка - подход к эффективности. OpenJarvis профилирует энергопотребление на NVIDIA, AMD и Apple Silicon с интервалом 50 мс.
Использовать можно через CLI, браузерный дашборд или десктопное приложение для macOS, Linux и Windows.
⚠️ Для полного функционала (безопасность, инструменты, агенты) потребуется Rust.
Помимо самого проекта, команда запустила конкурс-лидерборд экономии денег, энегрии и компьюта, в котором принять участие может любой желающий. В качестве приза самому экономному обещают Mac Mini.
📌Лицензирование: Apache 2.0 License.
🟡Статья
🟡Документация
🟡Сообщество в Discord
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #Framework #OpenJarvis #Stanford