SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights
[Статья] [Код]

От квантизации хочется, чтобы она с одной стороны, хорошо сохраняла качество, а с другой, ее было бы дешево и доступно гонять.

И авторы сегодняшней статьи (народное название алкашки 🥂 тут не причем, это от фамилии Sinkhorn) предлагают типа дешевое и эффективное решение.