💬 观点Hugging Face
Pruning LLMs Like a Physicist: Block Removal as an — 把大模型剪枝当成伊辛模型求解,物理视角看块删除
把大模型剪枝当成伊辛模型求解,物理视角看块删除
2026-09-21原文
本文为要点摘要,完整细节以原文为准。
- 文章把 LLM 的块删除(block removal)形式化为伊辛优化问题:每个块相当于一个自旋变量,保留或删除对应两种状态,目标是寻找使损失最小的组合。对 agent 工具链的含义是,模型压缩可以借用统计物理里成熟的组合优化求解器,而不必只依赖启发式剪枝。
- 这种映射让剪枝从逐层贪心搜索变成全局能量最小化问题,理论上能避免局部最优。对开发者的含义是,部署端的小模型选型可能多一条可复现的数学路径。
- 作者来自 Multiverse Computing,属于用量子/物理方法做 AI 优化的方向。对工具链的含义是,未来剪枝工具可能直接暴露能量函数接口,而非只给层重要性分数。
原文:Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem · 作者 Hugging Face