Artificial Analysis v5 and the benchmarker's dilemma — 独立评测机构如何给模型打一个分数，以及这个分数背后的取舍与压力

• 单一分数的悖论：AA v5 把智能指数拆成知识工作、编程、科学、通用各 25%，但任何聚合方式都有取舍；作者指出这类指数对社区极有用，同时也「massively flawed」，意味着开发者不应把榜单当唯一选型依据。
• 榜单偏向闭源前沿：新指数下 8 个闭源模型领先最好的开源模型 Kimi K3.1 Pro，开源模型在 terminal-bench-science、CritPT v2 等科学评测上差距最大；作者认为开源的价值主张本就不是硬拼前沿，而是把高需求推理降到硬件商品价。
• 转向私有基准的代价：AA 改用不公开题目的私有基准，理由是防开源实验室针对评测训练；作者认可方向但提醒这会失去社区找 bug 推动基准自我改进的机制，在巨额资金下他更倾向透明。

原文：Artificial Analysis v5 and the benchmarker's dilemma · 作者 Nathan Lambert