Учёные Яндекса, НИУ ВШЭ, MIT, KAUST и ISTA разработали метод быстрого сжатия больших языковых моделей (LLM) без потери качества. Ранее для запуска языковой модели на смартфоне или ноутбуке требовалось провести её квантизацию на дорогостоящем сервере, что занимало от нескольких часов до нескольких недель. Теперь квантизацию можно выполнить прямо на телефоне или ноутбуке за считанные минуты.
В чем проблема ❓
LLM требуют значительных вычислительных ресурсов, в том числе и опенсорс-модели. Например, DeepSeek-R не помещается даже на дорогостоящих серверах, предназначенных для работы с ИИ и машинным обучением. Это означает, что использовать большие модели может только ограниченный круг компаний, даже если сама модель находится в открытом доступе.
✅ HIGGS — решение
Новый метод квантизации HIGGS (от англ. Hadamard Incoherence with Gaussian MSE-optimal GridS) позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. Это особенно полезно в ситуациях, когда недостаточно подходящих данных для дообучения модели.
⭐️ Метод проверили на Llama 3 и Qwen2.5. Эксперименты показали, что HIGGS — это лучший способ квантизации по соотношению качества к размеру модели среди всех существующих методов квантизации без использования данных, в том числе NF4 (4-bit NormalFloat) и HQQ (Half-Quadratic Quantization).
👏 Признание научного сообщества
Научную статью, в которой описан новый метод, приняли на одну из крупнейших в мире конференций по ИИ — NAACL (The North American Chapter of the Association for Computational Linguistics). Она пройдёт с 29 апреля по 4 мая 2025 года в Альбукерке, Нью-Мексико, США.
❤️ Комментарий Лаборатории исследований ИИ Yandex Research специально для Теста Тьюринга:
Про ограничения:
У HIGGS есть свои ограничения. Сейчас на рынке существуют методы, которые позволяют меньше терять качество при сжатии — это, например, AQLM+PV и QTIP. Однако они работают на порядок медленнее, поэтому наше решение куда более полезно на практике.
Про универсальность:
Метод универсален и позволяет работать с любыми моделями. Это полезно для бизнеса, поскольку сокращает расходы на эксплуатацию существующих моделей.
Про пользу:
Одним из главных плюсов нашей работы и области в целом является то, что наши методы применимы к моделям будущего. Если фундаментальный принцип работы не поменяется слишком сильно, нашими алгоритмами можно будет сжать условную Llama-10.
Мы, создатели статьи, не знаем, что из себя будет представлять мир через 10 лет. Но, если в нём нейросети будут приносить пользу, наша работа позволит этой пользе быть более доступной и дешёвой.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться
#новостьдня