MC-Sparse

Метод разреженного внимания от Fudan и Tencent Hybrid для ускорения генерации видео и 3D без переобучения. Отсекает лишние токены, ускоряя денойзинг в 1.8-2.3×.

• Токен-уровневое разреженное внимание прямо на входе — drop-in ускорение, без ретрейна
• Группирует похожие query в GPU-тайлы и выбирает только важные KV-токены
• Компенсирует отброшенные вклады через кэшированный остаток
• Работает на MiniMax-H3 (видео) и генерации 3D-ассетов

Важные параметры
• 1.80× ускорение видео MiniMax-H3, 2.32× для 3D
• Плотность внимания всего 15%
• Сохранение мелких деталей при сильном разрежении

Разбирает три источника потери качества при разрежении: групповые ограничения, неточный отбор и отброшенный «хвост» вкладов. Находит точные выборки один раз на anchor-шаге и переиспользует их на следующих шагах денойзинга

github.com/dodododddo/mcsparse

Спасибо @m_franz

#optimization

MAX