BenchMIRT: What are LLM benchmarks actually measuring? — LLM基准测试到底在测什么？本文揭示其局限与改进方向。

• BenchMIRT 指出当前 LLM 基准测试存在数据污染和过拟合问题，导致分数虚高，无法真实反映模型能力。
• 文章提出一种新的评估框架，通过动态生成测试任务来减少数据泄漏，确保评测的公平性和有效性。
• 对开发者而言，依赖静态基准可能误导模型选型，需结合动态评测和真实场景验证，以构建更可靠的 agent 工具链。

原文：BenchMIRT: What are LLM benchmarks actually measuring? · 作者 Hugging Face