跳到主内容
智客 ZICQ

智客百科 技术术语

评测基准(Benchmark)

技术术语
别名: benchmark 评测 评测基准 ·2026-10-11

评测基准(Benchmark)

评测基准(Benchmark) 是一套任务、数据和评分规则,用来观察模型在指定条件下的表现。分数对应的是某种测试设置,不能直接当作所有业务的能力排名。HELM强调用多个场景和指标展示能力与取舍。

先看测试在测什么

测试类型 关注点 需要额外检查
知识问答 答案正确率 语言、题目版本、是否允许搜索
代码任务 代码是否通过测试 测试覆盖、执行环境、尝试次数
软件工程 是否修复真实问题 仓库版本、工具、测试与时间预算
长文本任务 信息检索与综合 文档长度、信息位置、干扰内容
业务评测 实际工作能否完成 验收标准、成本、权限与失败处理

例如,SWE-bench 的原始论文评估真实 GitHub issue 修复;这与仅补全一个函数的测试不是同一种任务。

如何比较两个分数

至少记录模型版本、数据集与划分、提示模板、是否使用工具、采样设置、尝试次数和评分实现。设置不同,应标明差异后再比较。可复现评测研究讨论了评测设置敏感性和结果透明度问题。

工程建议:给自己的任务留一张评测表

每个案例包含输入、可接受结果、证据来源和失败类型。先固定基线,再修改一个因素;保留原始输出,检查提升是否来自更高成本、更多尝试或数据泄漏。对偶发错误重复运行,对关键操作单独检查权限。

公开基准用于初筛;上线前还需要业务样本、异常输入和真实流程验证。更多见数据泄漏、数据集与可观测性。