Ubuntu упаковывает AI‑модели для любого железа

Canonical выпустила бета Inference Snaps: DeepSeek R1 и Qwen 2.5 VL ставятся одной командой, дают локальный API и автоматическую оптимизацию под CPU/GPU/NPU. Шаг к тому, чтобы генеративные модели стали нативной частью Ubuntu. Canonical выпустила inference-snaps — LLM, оптимизированные под железо

Canonical представила бета‑релиз inference-snaps для Ubuntu 24.04: готовые сборки DeepSeek и Qwen VL автоматически подбирают оптимизации под Intel и Ampere, включая квантование и рантаймы, для простого локального развёртывания и быстрого инференса.

Читать далее: https://ubuntu.com//blog/genai-inference

#en

@linux_n_linus | Другие наши каналы