Quantization-Aware Healing: a compressed, 4-bit model — 介绍一种新的量化方法，让4

• 提出“量化感知修复”方法，在量化过程中引入修复机制，使4-bit模型性能超越全精度原版。
• 该方法通过优化量化误差的分布，而非简单降低位宽，从而提升模型精度。
• 对开发者而言，这意味着可以在资源受限设备上部署更小、更快的模型，同时保持甚至提升性能，降低推理成本。

原文：Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original · 作者 Hugging Face