THE UNSEEN FRONTIER: PUSHING THE LIMITS OF LLM SPARSITY WITH SURROGATE-FREE ADMM
[Статья][Нет кода]

Введение

В отличие от квантизации методы прунинга для LLM не получили такого широкого распространения, с одной стороны, из-за аппаратной поддержки, а с другой, из-за больших просадок качества даже при сравнительно слабом прореживании - 50-60%.

В рассматриваемой работе авторы. вероятно, похожие на группу BTS, вместо с Дэном Алистаром предложили метод, основанный на ADMM, позволяющий доходить до высоких степеней прореживания (до 90%), сохраняя при этом когерентную генерацию.