Мы подготовили три официальные сборки модели. Теперь вы можете выбрать оптимальный баланс между скоростью и качеством под ваше железо:
🔘
bf16 - Максимальное качество и стабильность.🔘
q8_0 - Золотая середина: отличное качество при меньшем потреблении памяти.🔘
q6_k - Оптимально для ноутбуков и домашних ПК: высокая скорость и экономия памяти без заметного снижения качества генерации.💻 Function Calling
Мы расширяем поддержку функционала в популярных инструментах:
🔘vLLM: Официально появится в следующем релизе >0.12.0. Уже сейчас работает в dev-сборке (от коммита 21bb323) с флагом
--tool-call-parser gigachat3.🔘SGLang: Подготовили временное решение, доступное в отдельной ветке.
🔘llama.cpp: Отправили PR с полноценной реализацией. В текущей версии вызов функций работает с ограничениями — инструкция доступна в описании модели на HuggingFace.
Мы продолжаем работу над интеграцией GigaChat 3 Lightning в экосистему open-source инструментов. Следите за обновлениями — впереди ещё больше возможностей для локального запуска и кастомизации.
🧭 Делитесь опытом использования и задавайте вопросы — ваш фидбэк помогает делать модель лучше!
➡️ HuggingFace ⬅️