📱 Pushing the Limits of Large Language Model Quantization via the Linearity Theorem

💾 Прочитать о новом методе — ссылка

Ученые из лаборатории исследований ИИ Yandex Research совместно с НИУ ВШЭ, MIT (США), KAUST (Саудовская Аравия) и ISTA (Австрия) представили метод HIGGS. Он позволяет квантовать большие языковые модели без дополнительного обучения и без доступа к исходным данным.

Статья о разработке уже принята на одну из главных конференций по компьютерной лингвистике — NAACL, которая пройдет этой весной в Нью-Мексико (США). Помимо Яндекса и его партнеров по исследованию в ней примут участие Google, Microsoft Research, Гарвардский университет и другие.

Новый способ сжатия даст больше возможностей для использования LLM в различных областях, особенно в тех, где ресурсы ограничены — например, в образовании или социальной сфере. Теперь стартапы и независимые разработчики могут использовать сжатые модели для создания инновационных продуктов и сервисов, не тратя деньги на дорогое оборудование.

💡 Physics.Math.Code // @physics_lib