Your Agent Aced the Task. Will It Do It Again? — IBM 研究指出 agent 单次跑通任务不代表稳定复现，提出用一致性指标衡量可

• IBM Research 在 Hugging Face 发文指出，agent 评测通常只看单次任务是否成功，但同一个 agent 在重复执行同一任务时结果可能不同，因此"通过"不等于"可靠"。对 agent 开发者而言，评测集需要加入多次重复运行的方差或通过率，而非单次 pass/fail。
• 文章提出用一致性（consistency）作为衡量维度，关注 agent 在相同输入下能否稳定给出可接受的结果。这意味着工具链和 CI 流程里应把重复运行纳入回归测试，避免上线后行为漂移。
• 该工作与 IBM 的 ALTK（Agent Lifecycle Toolkit）相关，指向 agent 生命周期中的评估与演化环节。对构建 agent 平台的团队来说，可靠性指标应和准确率一样进入发布门槛。

原文：Your Agent Aced the Task. Will It Do It Again? · 作者 Hugging Face