💬 观点Hugging Face
Transformers now runs llama.cpp quants — Hugging Face 让 Transformers 直接加载 llama.c
Hugging Face 让 Transformers 直接加载 llama.cpp 量化权重，本地推理少一道转换。
2026-09-22原文
本文为要点摘要，完整细节以原文为准。
- Transformers 现在可以直接运行 llama.cpp 的量化格式权重，无需先转回原始精度再加载。
- 这意味着同一份 GGUF 量化产物既能给 llama.cpp 用，也能进 Transformers 生态，减少重复转换与存储。
- 对 agent 与工具链而言，本地部署的模型选择更灵活，量化模型可直接接入基于 Transformers 的推理与评测流程。
原文：Transformers now runs llama.cpp quants · 作者 Hugging Face