Thunder — это компилятор PyTorch, который позволяет значительно ускорить обучение. Он использует различные аппаратные исполнители в одиночном и многопоточном режимах на GPU. Это даетдо 40% прироста производительности в сравнении с обычной средой.
На графике выше Thunder достигает солидного ускорения обучения по сравнению со стандартной eager-реализацией на видеокартах NVidia H100 с использованием
nvFuser, torch.compile, cuDNN и TransformerEngine FP8.Цена: бесплатно
Репозиторий проекта
@zen_of_python