Вышел llmhost 0.6.0-beta11

Вышел llmhost — локальный хостинг LLM с автоматическим управлением памятью и спекулятивным декодированием. Планировщик сам выбирает форму загрузки: целиком на карту, эксперты MoE в RAM или частичный сплит, подбирает контекст от свободной VRAM и запоминает живой замер памяти после каждой загрузки, чтобы следующий план был точнее. MTP-головы цепляются автоматически с проверкой совместимости по GGUF-мете. Всё, что автоматика решает сама, переопределяется в llmhost.conf на лету.
( читать дальше... )



 c++, llama.cpp, openai, искусственный интеллект

👉@sysadminoff

https://www.linux.org.ru/news/opensource/18395675