AnythingLLM меняет движок
Популярное приложение для локальных моделей AnythingLLM переходит с Ollama на Lemonade и llama.cpp. Для пользователя это может означать меньше фоновых сервисов и больше контроля над запуском: приложение сможет напрямую управлять параметрами модели, квантованием и офлайн-режимом, а не зависеть от промежуточного API Ollama. Авторы мотивацию разбирают в посте, технических бенчмарков пока нет.
Плотная Qwen — в Mixture-of-Experts
Энтузиаст обновил метод конвертации обычных плотных моделей в MoE. Новая Qwen2.5-1.5B-MoE-A0.9B активирует только ~0.9B из 1.5B параметров, а в 0.5B-версии — ~0.3B. Для слабого локального железа это шанс получить более быстрый прогон при той же базе знаний. Готовые GGUF можно подключать в llama.cpp.
Ограничение: оценка на WikiText-2, на сложных инструкциях качество может отличаться. GGUF: bayliner1980/Qwen2.5-0.5B-MoE-A0.3B-GGUF, bayliner1980/Qwen2.5-1.5B-MoE-A0.9B-GGUF. Предыдущий разбор: https://www.reddit.com/r/LocalLLaMA/s/n7sgRZZc4z
━━━━━━━━━━━━━
📎 Источники:
• Update: Converting dense models into Mixture-of-Experts
• Why AnythingLLM is moving from Ollama to Lemonade and llama.cpp