Can we trust LLMs to judge whether a research idea is — Hugging Face 介绍 NoveltyBench：LLM 判断研究想法新

• 文章围绕 NoveltyBench 展开，核心问题是能否信任 LLM 来判断一个研究想法是否新颖；对做自动评审、idea 筛选工具的开发者来说，这直接关系到能否把判断权交给模型。
• 它把「新颖性判断」当作需要专门评测的能力，而不是默认 LLM 就具备；这意味着在 agent 或工具链里接入 LLM 做评审前，应先有对应的基准来验证。
• 讨论落在「可信度」上，提示把 LLM 用作研究想法评审环节时，需要评估其判断是否可靠；对构建科研辅助 agent 的团队，这是设计评审流程时必须考虑的风险点。

原文：Can we trust LLMs to judge whether a research idea is novel? · 作者 Hugging Face