LLM 应用评测体系：如何判断一次模型升级真的更好
"模型排行榜不能替代业务评测。本文从评测集构建、规则指标、模型裁判、人工复核和线上观测五个层次，设计一套能支持模型选型、Prompt 回归与 RAG 优化的 LLM 应用评测体系。"
本文要点
- 主题聚焦：AI、大模型
- 适合人群：独立开发者、全栈工程师、AI 应用开发者
- 核心价值：快速理解背景、实践路径、常见误区和工程建议
传统软件测试通常有明确答案：函数输入固定，期望输出也固定。LLM 应用不同，同一个问题可能有多种正确表达，答案质量还会受上下文、采样参数、工具结果和模型版本影响。因此，“跑几个例子感觉不错”不是评测，“某模型榜单更高”也不能证明它更适合你的业务。
真正有用的评测体系要回答三个问题：这次修改提升了什么、牺牲了什么、是否引入不可接受的风险。
一、先明确评测对象
LLM 应用不是只有模型。一次请求通常经过检索、Prompt 拼装、模型生成、工具调用、结果校验和后处理。若只评最终答案，发现退化时很难定位原因。
建议把链路拆成四层：
- 检索层：需要的证据是否进入候选上下文。
- 生成层：回答是否正确、完整、遵循指令。
- 工具层：工具选择、参数和执行顺序是否合理。
- 产品层：用户是否解决问题，成本和延迟是否可接受。
例如客服答案错误，可能是知识库没召回退款规则，也可能是模型忽略了已经召回的规则。两种问题需要完全不同的修复方式。
二、评测集比评分器更重要
一个漂亮的评分公式无法弥补样本失真。评测集应来自真实业务分布，而不是开发者临时编的十个简单问题。
构建时可以按以下来源采样：
- 线上高频请求，代表主要流量。
- 投诉、人工接管和低评分请求，覆盖已知失败。
- 新功能设计样本，覆盖即将上线的能力。
- 安全红队样本，包含越权、注入、隐私和敏感请求。
- 边界样本，包括空输入、冲突资料、超长内容和多语言。
每条样本都应带元数据，例如业务场景、风险等级、语言、输入长度和适用版本。高风险样本可以设置“一票否决”，不能被大量普通样本的平均分掩盖。
三、组合使用确定性指标与语义指标
能用程序判断的内容，不要交给另一个模型猜。
确定性指标包括 JSON Schema 通过率、工具参数是否合法、引用 URL 是否存在、答案是否包含禁用字段、延迟、token 和费用。这些指标可重复、便宜，适合作为第一道门。
语义指标用于判断正确性、相关性、完整性、语气和证据一致性。可以采用人工标注、模型裁判或任务专用指标，但必须明确评分 rubric。
正确性 0：核心结论错误或无依据
正确性 1：部分正确，但遗漏关键限制
正确性 2：结论正确，证据基本充分
正确性 3：结论正确、完整，且清楚标注不确定性
“请给答案打 1 到 10 分”过于主观。清晰的分档定义能显著提高不同裁判之间的一致性。
四、模型裁判怎么用才可信
LLM-as-a-Judge 成本低、扩展快，适合比较摘要、问答和写作质量，但它不是客观真理。裁判模型可能偏爱更长的答案、熟悉的表达，甚至偏爱自己生成的文本。
提高可信度的方法包括：
- 隐去候选模型和版本名称，避免品牌偏见。
- 随机交换 A/B 顺序，检测位置偏见。
- 要求按 rubric 分项评分，并引用候选答案证据。
- 对高风险与分歧样本进行人工复核。
- 定期抽样比较裁判评分与人工金标的一致率。
模型裁判更适合做规模化筛选，而不是独自决定医疗、法律、财务或权限相关功能能否上线。
五、RAG 需要分层评测
RAG 评测至少包含 Retrieval 与 Generation 两部分。
检索层关注：包含正确证据的文档是否进入 top-k，噪声比例有多高，关键证据排在第几位。常用指标有 Recall@k、MRR 和 nDCG。生成层关注：答案是否忠于上下文，是否覆盖问题，引用是否真的支持结论。
一个很实用的错误分类矩阵是：
| 检索到证据 | 最终回答正确 | 说明 |
|---|---|---|
| 否 | 否 | 优先修切分、索引、查询改写 |
| 是 | 否 | 优先修 Prompt、上下文排序或模型 |
| 否 | 是 | 可能依赖模型记忆，存在不可控风险 |
| 是 | 是 | 理想路径，继续检查成本与引用 |
分层后，团队不会再把所有错误都归因于“模型不够强”。
六、建立版本比较而不是单次分数
评测结果必须绑定完整实验配置：模型 ID、Prompt 版本、检索索引版本、参数、工具集合和代码 commit。否则今天的 82 分与上周的 79 分没有可比性。
发布前使用 paired comparison：让旧版本与新版本跑同一批样本，逐条记录胜、平、负。除了总体变化，还要按场景、语言、风险等级切片。整体提升 3%，但英文查询下降 15%，这种结果不能被一个平均数隐藏。
建议设置明确门槛：
- 所有结构与安全检查必须通过。
- 高风险集合不得退化。
- 核心任务胜率达到预定提升。
- P95 延迟和单请求成本不得超过预算。
- 人工抽检没有出现新的严重错误类型。
七、离线高分不等于线上成功
离线集无法完全覆盖真实用户。上线后仍要观察任务完成率、重试率、用户改写率、人工接管率、反馈分布、工具失败率和单位成功任务成本。
不要只收“点赞/点踩”。用户可能直接离开，沉默失败不会进入评分数据。可以设计更接近结果的信号，例如用户是否复制了正确代码、是否完成表单、是否继续追问同一问题、客服是否重新编辑了大部分答案。
线上异常样本应经过脱敏后回流评测集，形成“发现失败—归类—加入回归—修复验证”的闭环。评测集不是一次性项目，而是产品运行产生的长期资产。
小结
LLM 评测的核心不是找到一个万能分数，而是建立一条可审计的证据链。真实样本决定方向，确定性检查守住契约，语义评测衡量质量，人工复核处理高风险，线上指标验证实际价值。只有这五层一起工作，团队才能判断一次模型升级究竟是进步，还是把问题换了一个地方。
Related