评测基准(Benchmark)
评测基准(Benchmark) 是一套任务、数据和评分规则,用来观察模型在指定条件下的表现。分数对应的是某种测试设置,不能直接当作所有业务的能力排名。HELM强调用多个场景和指标展示能力与取舍。
先看测试在测什么
| 测试类型 | 关注点 | 需要额外检查 |
|---|---|---|
| 知识问答 | 答案正确率 | 语言、题目版本、是否允许搜索 |
| 代码任务 | 代码是否通过测试 | 测试覆盖、执行环境、尝试次数 |
| 软件工程 | 是否修复真实问题 | 仓库版本、工具、测试与时间预算 |
| 长文本任务 | 信息检索与综合 | 文档长度、信息位置、干扰内容 |
| 业务评测 | 实际工作能否完成 | 验收标准、成本、权限与失败处理 |
例如,SWE-bench 的原始论文评估真实 GitHub issue 修复;这与仅补全一个函数的测试不是同一种任务。
如何比较两个分数
至少记录模型版本、数据集与划分、提示模板、是否使用工具、采样设置、尝试次数和评分实现。设置不同,应标明差异后再比较。可复现评测研究讨论了评测设置敏感性和结果透明度问题。
工程建议:给自己的任务留一张评测表
每个案例包含输入、可接受结果、证据来源和失败类型。先固定基线,再修改一个因素;保留原始输出,检查提升是否来自更高成本、更多尝试或数据泄漏。对偶发错误重复运行,对关键操作单独检查权限。