💬 观点Hugging Face
ScarfBench: Benchmarking AI Agents for Enterprise Java — IBM 推出 ScarfBench，评估 AI 代理迁移企业 Java 框架的能
IBM 推出 ScarfBench，评估 AI 代理迁移企业 Java 框架的能力。
2026-06-30原文
本文为要点摘要，完整细节以原文为准。
- ScarfBench 包含 120 个真实 Java 迁移任务，覆盖 Spring 到 Quarkus 等框架，每个任务附带测试用例验证正确性。
- 最佳 AI 代理（GPT-4 + 检索增强）仅完成 38% 任务，且平均需 5 次迭代，暴露了当前 LLM 在复杂代码迁移中的局限性。
- 基准测试强调代理需理解框架语义、处理依赖冲突，并生成可编译代码，这对工具链的上下文感知和错误恢复能力提出更高要求。
原文：ScarfBench: Benchmarking AI Agents for Enterprise Java Framework Migration · 作者 Hugging Face