🚀 ModelOpt: NVIDIA TensorRT Model Optimizer

Опенсорс-тулкит для ускорения моделей прямо в продакшене ⚡

✨ Возможности:
• Оптимизация end-to-end: quantization, pruning, distillation, speculative decoding, sparsity
• Поддержка Hugging Face, PyTorch, ONNX моделей
• Интеграция с NeMo, Megatron-LM, HF Accelerate
• Деплой в SGLang, TensorRT-LLM, TensorRT, vLLM

🔗 Репозиторий: https://github.com/NVIDIA/TensorRT-Model-Optimizer

@machinelearning_interview