⚡️ PyTorch 2.14 вышел с крупным набором изменений для компиляции, распределённого обучения и Apple Silicon.

Главное:

- NVGEMM добавляет в Inductor CUTLASS-ядра, сгенерированные через CuTeDSL
- появился новый backend nccl2 для PyTorch Distributed
- отказоустойчивость стала частью c10d: можно перенастраивать process group без полного перезапуска
- на Apple Silicon появилась нативная линейная алгебра: SVD, eigh, QR и Cholesky
- torch.switch добавляет многостороннее ветвление
- torch.while_loop теперь можно захватывать в CUDA Graph
- @dynamic_spec задаёт динамические формы декларативно для torch.compile, torch.export и make_fx
- Intel XPU получил нативный graph capture
- Inductor добавил поддержку Rubin sm_107
- torch.compile экспериментально научился работать с комплексными числами

Отдельно NVGEMM умеет epilogue fusion, scaled GEMM, NVFP4 GEMM и autotuning вместе с Triton и ATen.

В релиз вошло 2995 коммитов от 487 участников.

17 сентября команда PyTorch проведёт live Q&A по версии 2.14.

Release blog: https://pytorch.org/blog/pytorch-2-14-release-blog/

Q&A: https://pytorch.org/event/pytorch-2-14-release-live-qa/