🖥 MaskLLM — метод обрезки языковых моделей для уменьшения вычислительных затрат
🌟 Вместо поиска важных параметров MaskLLM использует выборку Gumbel Softmax для обучения разреженных масок, что обеспечивает высокую точность и возможность переноса между разными задачами.

Эффективность MaskLLM оценивали сравнением с другими методами на моделях LLaMA-2, Nemotron-4 и GPT-3.

Результаты показали, что MaskLLM достигает более низкой перплексии на наборе данных Wikitext при использовании 2:4 разреженности. Например, для LLaMA-2 7B MaskLLM достиг перплексии 6.72, в то время как SparseGPT показал результат 10.42.

🔗 Прочитать оригинал статьи можно здесь: *клик*

@machinelearning_interview