⚡ SageAttention — революция в скорости работы трансформеров

Исследователи из THU-ML представили инновационный метод ускорения attention-слоёв, который не требует изменения архитектуры моделей. Проект использует интеллектуальное 8-битное квантование матриц внимания, сохраняя при этом точность оригинальных моделей.

На новых GPU RTX 5090 решение показывает впечатляющие 2.7x ускорение по сравнению с FlashAttention-2. Технология уже интегрируется в популярные фреймворки, для тестирования достаточно заменить одну строку кода.

🤖 GitHub

@bigdatai