smevals - a small eval suite for evaluating models, — Simon Willison 推出 smevals，一个轻量级评估套件，用于比较

• smevals 是一个新工具，通过 YAML 文件定义评估任务，支持多模型对比运行，并分离运行与评分阶段，最后可生成静态 HTML 报告。
• 核心概念包括 eval、task、config、run、runner、grader 和 check，其中 grader 可调用其他模型进行复杂检查，这为自动化评估提供了灵活性。
• 该工具强调通过命令行与编码代理交互，例如 uvx smevals docs 可快速上手，这降低了评估门槛，使开发者能更便捷地验证模型能力。

原文：smevals - a small eval suite for evaluating models, prompts, and harnesses · 作者 Simon Willison