🔥 Метод HIGGS теперь доступен для квантования больших языковых моделей!

Исследователи из Яндекса, НИУ ВШЭ, MIT, KAUST и ISTA представили новый алгоритм квантования больших языковых моделей (LLM) — HIGGS (Hadamard-Input Gram-Gauss-Seidel).

Что важно знать:
⚡️ Zero-shot подход — метод не требует дополнительного обучения модели после квантования.
🚀 Позволяет эффективно запускать мощные LLM прямо на смартфонах и ноутбуках без потери точности.
🎯 Уже поддерживаются модели Llama 3 (70B, 405B) и Gemma 2 (8B, 27B).

Метод доступен разработчикам и исследователям на:
🤖 Hugging Face
💻 GitHub
📚 arXiv

Это важный шаг для широкого применения нейросетей, снижая требования к вычислительным ресурсам без ущерба качеству.

Подробнее о разработке на сайте НИУ ВШЭ: https://www.hse.ru/news/science/1034477704.html

#HIGGS #ИИ #LLM #НИУВШЭ #Яндекс #AI #HuggingFace #GitHub