The Inference Engineering Masterclass — Philip Kiely & — Baseten 团队详解推理工程：如何将开源模型变成快、稳、省的 API，以及

• 推理优化仍能带来 20%、100% 甚至 200% 的性能提升，例如 GLM-5.2 实验中量化更多层反而保持基准质量并提高 20% 吞吐量，因为不同层的误差可能相互抵消。对开发者而言，量化不再是简单的精度损失，而是可精细调控的性能杠杆。
• 推理系统正走向专业化分工：prefill 和 decode 由不同 GPU 处理，缓存感知路由复用 KV cache，推测解码用小模型加速大模型。这意味着构建高效服务需要重新思考架构，而非仅堆硬件。
• 推理与训练的边界在模糊：模型可帮助优化运行自身的核函数，持续学习通过持久 KV cache 实现。未来系统可能形成自我优化的闭环，开发者需关注训练与推理的协同设计。

原文：The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten · 作者 Latent Space