🔍MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models

Обучаемый метод обрезки, который устанавливает полуструктурированную разреженность в LLM, направленный на снижение вычислительных издержек во время вывода.

Вместо разработки нового критерия важности MaskLLM явно моделирует шаблоны N:M как обучаемое распределение с помощью выборки Gumbel Softmax.

Этот подход облегчает сквозное обучение на больших наборах данных.

Он позволяет настраивать маски для безпотерьного применения разреженности 2:4 к нижестоящим задачам или доменам.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться