🤓 Инструмент недели: `torchao` — лёгкое квантование и оптимизация PyTorch-моделей
квантовани— это новая экспериментальная библиотека от команды PyTorch, разработанная для простого применения квантования, разреживания и других оптимизаций к нейросетевым моделям.
Основные возможности:
🟠
autoquant — автоматическое квантование модели по слоям, без ручной настройки🟠 поддержка INT8 квантования, совместимого с
torch.ao.quantization🟠 интеграция с PyTorch 2.x (использует
torch.compile, dynamo, inductor)🟠 поддержка разреживания (
sparsity), структурных трансформаций🟠 работа с предварительно обученными моделями — ResNet, MobileNet, Llama и др
🟠 возможность применения на CPU/GPU, включая ускорение inference в ONNX и TorchScript
Подробнее на GitHub
👉Новости 👉База вопросов