💻 Transformer Engine — библиотека от NVIDIA для ускорения работы Transformer-моделей на GPU, включая поддержку 8-битной точности на архитектурах Hopper и Blackwell. Проект предлагает оптимизированные компоненты для популярных архитектур вроде BERT и GPT, упрощая mixed-precision обучение без потери точности.

Вместо стандартного FP32 обучение можно проводить в FP8, что значительно снижает потребление памяти и ускоряет процесс. Библиотека интегрируется с PyTorch и JAX, а также поддерживает FlashAttention для эффективного вычисления внимания. Подходит для работы с крупными языковыми моделями.

🤖 GitHub

@machinelearning_ru