MAC-Attention: a Match-Amend-Complete Scheme for Fast and Accurate Attention Computation

📄 [Статья]
💻 [Код]

В стандартной реализации для каждой новой query мы проходимся по всем посчитанным ранее парам ключей и значений и считаем результат.

Но можно ли как-то переиспользовать прошлые вычисления?

И работа, рассматриваемая ниже, предлагает интересный подход по переиспользованию вычислений для похожих query.