💬 观点OpenAI
Separating signal from noise in coding evaluations — SWE
SWE-Bench Pro 基准测试存在严重噪声，影响 AI 编码评估可靠性。
2026-07-08原文
本文为要点摘要，完整细节以原文为准。
🧭 一图看懂
由原文自动提炼 · 以原文为准点击任一分支，查看这一点的一句话解读
SWE-Bench Pro 评估噪声
SWE-Bench Pro 中约三成测试用例存在噪声
- 30% 用例噪声
- 含测试本身错误
- 含环境配置问题
⚙️ 流程拆解
STEP 1运行 SWE-Bench Pro
STEP 2出现噪声用例
STEP 3得分虚高
STEP 4过滤测试
STEP 5多次运行取中位数
🔗 涉及的概念与玩家
- SWE-Bench Pro产品
- AI 编码评估概念
- 噪声概念
- 信噪比概念
- 测试过滤方法
- 中位数概念
- SWE-Bench Pro—存在→噪声
- 噪声—影响→AI 编码评估
- 测试过滤—提升→信噪比
- 中位数—提升→信噪比
- SWE-Bench Pro 中 30% 的测试用例存在噪声，包括测试本身错误或环境配置问题，导致模型得分虚高。
- 噪声主要来自不稳定的依赖项和随机失败，使得评估结果不可重复，对开发者选择模型造成误导。
- 改进建议包括使用更严格的测试过滤和多次运行取中位数，以提升基准测试的信噪比，确保工具链评估的准确性。
原文：Separating signal from noise in coding evaluations · 作者 OpenAI
🕸 顺着图谱继续读
- The new GPT-5.6 family: Luna, Terra, Sol — OpenAI 发布 GPT2026-07-09 · 共同涉及 SWE-Bench Pro
- Claude Opus 4.8: Capabilities and Reactions — Zvi 通过大量数据点分析 Claude Opus 4.8 的真实能力与用户反应2026-06-02 · 共同涉及 SWE-Bench Pro