#полезное
😊 FlexAttention — простой способ писать любое внимание на PyTorch

Зачем городить сложные CUDA-ядра, если можно использовать понятный и мощный абстрактный подход?

FlexAttention — это новая модель программирования, которая позволяет реализовать большинство вариантов attention (внимания) всего в *нескольких строках кода на PyTorch*.

🟠Работает на базе компилятора — автоматически оптимизирует вычисления
🟠 Производительность на уровне кастомных ядер (hand-written kernels)

Что даёт FlexAttention:
🔵 Унифицированный способ писать self-, cross-, local-, sparse-attention
🔵 Без кастомных CUDA/CPP — всё на чистом PyTorch
🔵 Гибкость и читаемость для исследований и прототипов
Смотреть

👉Новости 👉База вопросов