ИИ без серверов: новый метод позволяет запускать LLM на обычных устройствах

Российские учёные Yandex Research и НИУ ВШЭ совместно с коллегами из ведущих мировых вузов (MIT, ISTA и KAUST) разработали метод Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS) для сжатия больших языковых моделей (LLM) без потери качества.

Теперь ИИ можно запускать на обычных ноутбуках и смартфонах без серверов и графических ускорителей. Метод не требует дообучения и сложной оптимизации, ускоряет внедрение ИИ-решений и снижает затраты.

HIGGS уже протестирован на Llama 3 и Qwen 2.5, показав лучшие результаты по соотношению качества и размера модели.

Мы из будущего