😑 DeepSeek ужалась до 170 ГБ

Разработчики из Unsloth смогли сжать DeepSeek-V3.1 с 715 ГБ до 170 ГБ без серьёзных потерь в качестве. Это стало возможным благодаря динамической квантовке: важные слои оставили в 6–8 бит, а второстепенные ужали сильнее. Для калибровки брали пару миллионов токенов, чтобы веса не «поехали».

В результате появилась сборка, которая запускается на обычной машине с 170 ГБ RAM. Более того, есть однофайловая версия TQ1_0 — идеально для Ollama. Поддерживаются длинные контексты, настройка температуры и top_p, а MoE-слои лучше выгружать в RAM.

Фактически, теперь самую большую опенсорс-модель можно поднять локально без серверной фермы. Для энтузиастов это шаг к будущему, где вместо одного «монстра» на 32B будет целый стек маленьких и быстрых моделей, каждая под свою задачу.

————————————————
@AI_FutureNow - IT, технологии, нейросети и бизнес