Скрипт квантизации
quantize.py ссылается на несуществующий quantize_impls.Правда, учитывая, что это RTN квантизация, которая раскоает модель в негодность в 4-х битах, да и вроде обещают QAT модельки, может и пох.
КП КПД @quant_prune_distill · 3.49K subscribers quantize.py ссылается на несуществующий quantize_impls.