🤖 Atomic Chat — ще один десктоп-клієнт для локальних LLM, але з одним цікавим аргументом.
По суті, це конкурент Jan і LM Studio: ставиш як звичайну Mac-апку, качаєш модель з Hugging Face в один клік, чатишся офлайн. Підтримує 1000+ моделей — Llama, Qwen, DeepSeek, Kimi, Mistral, Gemma. Формати GGUF, MLX, ONNX. Windows обіцяють згодом.
Фішка — вбудований TurboQuant від Google Research:
→ стискає моделі до 3 біт без fine-tuning і без втрати якості
→ KV-кеш менший у 6 разів
→ інференс до 8× швидший (на H100, ясна річ — на твоєму Mac цифри будуть скромніші)
З корисного: Projects з персистентною памʼяттю, локальний API-сервер (OpenAI-сумісний), MCP-сервери, інтеграція з Claude Code, агентні воркфлоу.
Ціна — нуль. Open-source, приватність by design: нічого не виходить з машини, бо "нема куди відправляти".
Питання одне: чи TurboQuant реально тягне на десктопі краще за llama.cpp з Q4, чи це маркетингова магія з датацентрових бенчмарків. Перевіряти треба руками.
https://atomic.chat/
📎 Читайте також:
→ LlamaBarn — menu-bar локальні LLM на Mac
→ Ollama з Anthropic Messages API для Claude Code
→ Openwork — опенсорсний локальний AI-агент
Post #2699
392