Годный блогпостик про использование FP4 квантизации в проде от провайдера Spheron.

В частности, оценивается стоимость инференса при аренде конкретной GPU с учетом максимально достижимого throughput при использовании данного типа данных, а также вопросы качества и доступности в инференсных фреймворках.