✔️ DeepSeek-V4 теперь можно запускать локально через GGUF от Unsloth.

DeepSeek-V4-Flash в lossless-версии запускается на 168 ГБ RAM.

3-битная версия работает на Mac и сетапах с RAM/VRAM примерно от 110 ГБ.

Unsloth также улучшили chat template, чтобы модель корректнее работала в диалоговом формате.

Запускать можно через Unsloth Studio или llama.cpp.

Гайд: unsloth.ai/docs/models/deepseek-v4

GGUF: huggingface.co/unsloth/DeepSeek-V4-Flash-GGUF