AI 功能的 A/B 测试

"我换了个 prompt，感觉回答变好了。"——这句话在 AI 产品里几乎毫无意义。输出非确定、质量主观，凭感觉判断极易自欺。真正知道变好没，只有 A/B 测试。但 AI 的 A/B 比传统功能难，这篇讲怎么做对。

一、为什么 AI 功能的 A/B 更难

传统功能 A/B：用户看到按钮红色 vs 蓝色，点不点可量化、确定。

AI 功能 A/B 多了几个难点：

• 输出非确定：同一用户同一输入，A 版 B 版各跑一次，输出本身就不同，你不知道差异是"版本差异"还是"随机抖动"。
• 质量主观："回答好不好"没有点击率那种客观指标，要定义代理指标或人工评分。
• 样本需求大：因为方差大，要更多样本才能达到统计显著。
• 延迟反馈：AI 改进的真实效果（留存、付费）往往滞后于单次交互。

所以 AI A/B 不能照搬传统，要专门设计。

二、先想清楚：测什么

AI 功能的变更，通常在测这四类之一：

1. 模型/prompt 变更：换模型、改 prompt、调参数——测"质量变好没"。
2. 成本/延迟优化：换小模型、降 max_tokens——测"成本降了，质量没降吧"。
3. 功能改动：加流式、改 UI——测"体验/转化"。
4. 降级/fallback：切备用模型——测"不影响核心体验"。

每类的核心指标不同。"质量"类看质量指标，"成本"类看成本 + 质量底线，"体验"类看转化/留存。

三、定义指标：离线 + 在线两层

AI A/B 的指标分两层：

离线指标（上线前，可量化）：

• 评测集分数（faithfulness、格式合规率、业务正确率）。
• 延迟、token 成本。
• 这些是"能不能上线"的门槛。

在线指标（上线后，真实用户）：

• 交互质量：用户复评率、重试率（生成完又问一次 = 不满意信号）、复制率（生成了有用内容会复制）。
• 转化/留存：留存率、付费转化、功能使用频次——最终商业指标。
• 成本：单会话 token、单用户成本。
• 满意度：显式评分（👍/👎、CSAT）。

关键：离线指标筛掉明显变差的，在线指标判断真实优劣。只有在线指标才是产品决策依据——离线分数高但在线留存掉，以在线为准。

四、实验设计要点

1. 用户级分桶，不是请求级。 一个用户的所有请求分在同一组（A 或 B），别同一用户这次 A 下次 B——体验不一致、数据污染。

2. 样本量算足。 AI 输出方差大，传统 A/B 的样本量公式给出的是下限，AI 场景往往要更多。用功效分析算"检测出 X% 提升需要的样本"，别太少就下结论。

3. 随机 + 均匀。分桶要随机且两组在关键维度（新老用户、地区、设备）均衡，否则偏差。

4. 跑够时间。AI 改进的真实效果（留存）可能滞后，跑 1–2 周看长期，别看一天的数据就下结论。

5. 一致性分数（consistency）。AI 特有指标：同一输入跑两次，输出相似度。一致性低的版本体验差（用户每次得到不同答案），即便平均质量高。

五、质量怎么量化（最难的部分）

"回答质量"是最难量化的。几种方法：

1. 隐式行为信号。

• 重试率：用户重新生成 = 不满意。
• 复制/分享：用户用了输出 = 有用。
• 停留时长：认真读 = 有内容；秒退 = 没用。
• 编辑量：用户改了多少 AI 输出 = 改得少质量高。

这些是"用户用脚投票"的信号，比直接问更真实。

2. 显式反馈。👍/👎、CSAT 评分。直接但稀疏（少数人会点），且可能偏差（特别满意/不满才点）。

3. LLM-as-judge 抽检。随机抽两组输出，让强模型盲评哪个好。补行为信号的盲区。

4. 人工评分（高价值功能）。关键功能用人工标注质量，最准但贵。

组合用：行为信号做主指标，显式反馈 + LLM 抽检辅助，关键功能人工兜底。

六、一个常见陷阱：离线好 ≠ 在线好

最常踩的坑：离线评测集分数提升 → 兴冲冲上线 → 在线指标反而掉。

原因：评测集不代表真实分布。你的评测集是精心挑的"标准问题"，真实用户的输入千奇百怪（错别字、模糊、超长、攻击性）。离线提升可能只对"标准问题"有效，对长尾反而退化。

对策：

• 评测集要持续从真实流量补充（脱敏的真实问题），保持代表性。
• 离线只作门槛，在线才是裁决。离线大幅下降别上线；离线微涨不足以决策，看在线。
• 关注长尾/边缘 case，不只看平均分。

七、AI A/B 的工程基础设施

需要的基础设施：

• 分桶服务：按 user_id 稳定分到 A/B（一致性 hash）。
• 实验配置：哪些用户进实验、各版本参数（可灰度 1%→10%→50%）。
• 指标管道：实时聚合各组的在线指标。
• 统计显著性计算：别凭"看着高了"下结论，算 p 值/置信区间。

工具：自建或用 GrowthBook、Statsig、LaunchDarkly 这类实验平台。AI 特有的（评测集、LLM-judge）自己接。

小结

AI 功能的 A/B 测试，比传统难但必须做：

• 两层指标：离线（评测/成本）作门槛，在线（留存/转化/行为）作裁决。
• 质量量化：隐式行为信号为主 + 显式反馈 + LLM-judge + 人工兜底。
• 实验设计：用户级分桶、样本量算足、跑够时间、看一致性。
• 警惕陷阱：离线好 ≠ 在线好，评测集要持续补真实流量。

记住一句：在 AI 产品里，"我觉得新版好"是幻觉，只有 A/B 的在线数据是真相。 不做 A/B 的 AI 迭代，等于闭着眼改产品——你以为在优化，可能在悄悄把它变差。把 A/B 当 AI 产品迭代的基础设施，才能真正知道每一次改动是不是进步。