Qwen ускоряет локальных AI-агентов: вышел FlashQLA

Qwen представила FlashQLA - набор быстрых kernels для linear attention. Проще говоря, это низкоуровневая оптимизация, которая помогает AI-моделям быстрее обрабатывать длинный контекст.

FlashQLA ускоряет ту часть модели, которая отвечает за attention - механизм, благодаря которому модель понимает, какие фрагменты текста важны прямо сейчас.

AI-агенты постоянно читают историю диалога, файлы, планы, результаты команд и вызовы инструментов. Чем длиннее контекст, тем тяжелее модели работать. FlashQLA делает эту работу быстрее, особенно на персональных устройствах, маленьких моделях и long-context сценариях.

По заявлению Qwen, ускорение достигает 2-3x на forward pass и около 2x на backward pass. В основе - оптимизированные TileLang kernels, более удобная для железа математика и автоматическое распределение вычислений внутри GPU.

Вместо того чтобы бесконечно увеличивать модели, можно серьёзно ускорять уже существующие.

Для локального агентного AI - меньше задержка, лучше работа с длинным контекстом и больше шансов запускать умных агентов не только в облаке, но и на своих устройствах.

Blog: https://qwen.ai/blog?id=flashqla
Code: https://github.com/QwenLM/FlashQLA

#qwen