💬 观点OpenAI
Separating signal from noise in coding evaluations — SWE
SWE-Bench Pro 基准测试存在严重噪声，影响 AI 编码评估可靠性。
2026-07-08原文
本文为要点摘要，完整细节以原文为准。
- SWE-Bench Pro 中 30% 的测试用例存在噪声，包括测试本身错误或环境配置问题，导致模型得分虚高。
- 噪声主要来自不稳定的依赖项和随机失败，使得评估结果不可重复，对开发者选择模型造成误导。
- 改进建议包括使用更严格的测试过滤和多次运行取中位数，以提升基准测试的信噪比，确保工具链评估的准确性。
原文：Separating signal from noise in coding evaluations · 作者 OpenAI