Google выпустили новые версии Gemma-3, которые можно запустить локально на домашних видеокартах

Например, теперь, чтобы запустить Gemma 3 27B, понадобится всего 14 гигабайт vRAM всесто 54. А Gemma 3 1B вообще заведется на 0.5 Gb (считай, на утюге).

Технически все дело в квантовании. Квантование – это когда мы снижаем точность чисел, которые модель хранит и использует для расчетов.

Обычно квантование снижает качество ответов исходной модельки, но тут Gemma специально натренили быть к этому устойчивой. Это называется Quantization-Aware Training: модель квантуют не после окончания обучения, а прямо во время.

Веса уже на HF