Эксперты из каментов, обьясните, какого фига flash attention нифига не убыстряет промпт процессинг.

Или это работает только на экстремальных контекстах под лям токенов? Или я чето неправильно понял.

Помогите выкупить, я не выкупаю 😤

P.S.
Типа если он работает только на гига-здоровенных контекстах, то и нахуй он тогда нужен? Особенно в локальном использовании, нафига пчелы из llama-cpp с ним заморачивались, если профита нет.