实践openclaw-concepts
QA reporting · OpenClaw — QA 报告怎么把「跑过了」变成「可审计的通过」
QA 报告怎么把「跑过了」变成「可审计的通过」——证据、重试与证明要求的设计细节
2026-10-05原文
本文为要点摘要，完整细节以原文为准。
- 每次
qa suite都产出qa-evidence.json、qa-suite-summary.json、qa-suite-report.md；execution.kind: script的场景由生产者自己写 evidence 再被导入。含义：harness 应把「证据文件」当作一等产物，而不是只留日志。 - 重试保留原始观测与工件，由「被选中的 attempt」决定有效计数与覆盖，且选择作用于整个 attempt，不能混用不同 attempt 的通过行。含义：prompt/harness 的通过判定要绑定到一次完整运行，避免挑选性成功。
proofRequirements要求一个绑定 receipt 满足某个备选，不能跨无关观测拼凑事实；缺失或错误 proof class 记为「证明不足」而非产品失败。含义：把「没证据」和「失败」分开编码，是 agent 评测里最容易搞混的一环。