Making Knowledge Distillation Cheap Enough to Run at — 如何让知识蒸馏成本足够低，从而大规模运行？

• 文章提出一种高效知识蒸馏方法，通过减少教师模型的前向传播次数来降低计算成本。
• 该方法利用学生模型的中间表示来近似教师输出，从而在保持性能的同时大幅减少训练时间。
• 对开发者而言，这意味着可以在有限算力下部署更小的模型，同时保留大模型的知识，降低推理成本。

原文：Making Knowledge Distillation Cheap Enough to Run at Scale · 作者 Hugging Face