🤗 Optimum

Интеграция всем известной библиотеки для конвертации/запуска моделей с разными бэкендами: ONNX RT, Intel Neural Compressor, OpenVINO, Graphcore IPU, HPU.

Изменения происходят в несколько строк, но в зависимости от вашего оборудования и задачи можно получить прирост в X раз.

Некоторые используют конвертацию в докере, чтобы получить максимальную производительность.

Notebooks
Github
Optimum