直接答案：大模型基准测试是用明确任务、固定样本、可重复配置和评分规则，对模型或完整系统做受限比较的方法。排行榜分数只回答“在这套题、这个版本、这种提示与评分器下表现如何”，不能直接证明你的业务效果、安全性或总成本。本文复核于 2026-09-14。
基准测试不是什么
它不是一个脱离条件的“智商分”，不是把多个榜单平均后得到的永久排名，也不是厂商展示几个成功案例。静态知识题、代码任务、对话偏好、安全红队、检索问答和可执行 Agent 的失败方式不同，不能用同一个总分替代。模型输出之外，工具、检索、系统提示、重试、超时和权限也会影响完整系统结果。
先写评测卡，再运行任何模型
| 字段 | 必须写清 | 缺失会造成什么 |
|---|---|---|
| 任务 | 输入、允许工具、成功条件、不可接受错误 | 分数与真实业务错位 |
| 数据 | 来源、许可、版本、切分、去重、敏感性 | 污染、泄漏或无法复现 |
| 运行 | 模型 ID、日期、提示、温度、采样、重试、预算 | 把配置差异误判为模型差异 |
| 评分 | 确定性规则、评审器版本、人工复核和置信区间 | 评分器偏见被隐藏 |
| 成本 | 成功任务的 token、时间、工具调用和失败重试 | 低单价方案反而总成本更高 |
数据污染：模型见过考题时，分数测到什么
公开测试集可能进入训练语料，题目或答案也可能通过论坛、代码仓库和教程传播。污染不能只靠“发布时间晚于训练截止日”判断；还要检查近重复、模板同源和答案泄漏。可采用保密样本、滚动样本和业务私有样本，但保密不等于永远安全：访问控制、日志和评测供应链也会泄漏题目。
最小做法是把样本分成开发集、冻结验收集和上线后的金丝雀集。开发集允许调提示；冻结集在方案确定后只运行；金丝雀集用于发现版本漂移。任何根据冻结集结果反复改提示的行为，都应被记录为测试集调参，并另建新的最终验收集。
开放题评分：LLM-as-a-Judge 也需要被评测
开放文本没有唯一字符串答案，使用模型评审器可以扩展规模，但会带来位置偏见、长度偏好、风格偏好、同源模型偏好和提示敏感性。不要只保存最终分数；至少保存候选答案、评审提示、评审器模型、顺序随机化、理由与人工分歧样本。
- 先让人工专家在小样本上定义 rubric 和不可接受错误。
- 用同一批样本比较评审器与人工标签，报告一致与分歧，而不是只报相关系数。
- 对 A/B 答案交换位置，若胜负随顺序改变，需降低可信度或改用人工裁决。
- 把“语言更流畅”与“事实更正确”拆成不同维度。
- 高风险结论保留人工最终责任，不以自动评分替代专业审核。
成对测试比孤立总分更有用
采购或迁移时，先冻结当前系统基线，再在相同样本、相同工具权限、相同预算与超时下运行候选系统。逐样本记录基线成功/候选成功四种组合，尤其关注“基线成功但候选失败”的回归。总成功率相同，也可能隐藏关键任务回退。
| 组合 | 含义 | 行动 |
|---|---|---|
| 两者都成功 | 能力持平，继续比较成本与稳定性 | 观察时延、重试和人工修订 |
| 仅候选成功 | 可能新增能力 | 复核是否靠额外工具或预算 |
| 仅基线成功 | 明确回归 | 定位任务类型并设置阻断阈值 |
| 两者都失败 | 测试或需求仍未满足 | 不要用相对胜率掩盖绝对不可用 |
指标应服务于错误成本
选择题可用准确率，但类别不均衡时应同时看每类结果；抽取任务需区分字段遗漏与错误填充；检索问答应把召回、引用支持和最终答案分开；代码与 Agent 应以可执行测试、工具副作用和恢复能力验收。任何汇总分都应能下钻到样本、错误类型和业务严重度。
报告置信区间、重复运行和失败预算
采样模型输出存在波动，小样本差异可能来自随机性。固定可固定的参数，并对非确定任务重复运行；报告样本数、均值或成功率、波动范围和失败原因。若模型触发拒答、超时、限流或工具错误，应按预先规则计入，不得删除失败请求后只统计成功输出。
公共基准如何正确使用
Stanford HELM强调多场景、多指标和透明报告；EleutherAI lm-evaluation-harness提供可复现任务框架；MLCommons发布按版本和规则组织的基准。使用它们时应保留任务版本、提交类别和硬件/软件条件，不能把不同规则、不同日期和不同系统规模的数字直接拼成同一排行榜。
企业最小评测流程
- 定义任务：选 3–5 个真实高频任务与 1–2 个高损失边界任务，写清拒答和人工升级规则。
- 建立样本：记录来源、授权、时间和难度；按主体去重，避免近重复跨集合。
- 冻结配置：锁模型、提示、工具、预算、超时、重试和日期。
- 先跑基线：保存逐样本结果与失败，不只保存均值。
- 成对运行：同条件测试候选，统计新增成功、回归、双失败与副作用。
- 人工裁决：复核关键错误和评审器分歧，形成上线阻断项。
- 灰度与回滚：以线上金丝雀观察分布漂移，触发阈值立即恢复基线。
本页确定性夹具与证据边界
本轮用固定的 12 条布尔结果运行成对比较，计算双成功、候选新增成功、候选回归和双失败，并验证四项之和等于样本总数；它只证明统计分支与记录结构可复现，不证明任何商业模型优劣。继续阅读 模型解释记录字段、模型维护与回退和 Agent 安全评测边界。
一手与原始资料：HELM、lm-evaluation-harness、MLCommons Benchmarks、NIST AI RMF、Judging LLM-as-a-Judge 论文。访问日期 2026-09-14。
