AI 功能证据评分卡：用行为、效果、成本与风险决定开发顺序

路线图会议最危险的输入通常是“很多客户都要”和“竞品已经有”。前者可能来自同一个销售反复转述，后者只能证明功能可以被展示，不能证明你的用户会采用。AI 功能还多出质量波动、推理成本、数据权限和人工复核等变量，只按开发工时排序会把团队带向易做但无价值的功能。

证据评分卡不是用一个数字替代判断，而是强迫每个分数绑定来源、样本和有效期。评审人可以追溯：需求发生过几次，用户承诺了什么，结果如何测量，成本和风险是否已被考虑。

先通过硬门，再参与排名

任何候选功能先回答四个是非题：是否对应明确用户与任务，是否有至少三条独立的近期行为证据，是否定义可观察的成功结果，是否不存在当前无法接受的法律或安全风险。任一项为“否”，状态应是“继续研究”或“拒绝”，不能靠其他高分抵消。

例如“自动替求职者投递全部岗位”即使触达人数很大，只要授权、误投和平台条款风险没有解决，就不应因为增长预期进入开发。风险门应参考具体使用情境，而不是贴一个笼统的“低风险”标签。

六个维度都必须引用证据

通过硬门后，每项按 0 到 4 分记录：

再为每个维度设置证据置信系数：口头观点 0.25，最近行为和可查看工件 0.60，受控试验结果 0.80，真实付款或重复生产使用 1.00。维度有效分等于 原始分 × 置信系数。系数不是统计显著性的替代物，只用于避免十条意见在表格里看起来比三次付款更强。

每条证据包含 sourceId、目标人群、采集日期、样本量、观察方法、反例和失效日期。模型能力、价格和用户工作流都会变化；超过 90 天未复核的证据应自动降级，而不是永久支撑路线图。

一个可以复算的比较示例

假设团队在比较“会议自动摘要”和“从会议中提取带负责人和期限的行动项”。两者权重相同，六维满分均为 24。

自动摘要的原始分为 [4, 2, 1, 4, 4, 3]，但承诺主要来自问卷，逐项乘置信系数后得到 [2.4, 1.2, 0.25, 2.4, 3.2, 1.8]，总分 11.25。行动项提取原始分为 [3, 4, 4, 3, 3, 3]，证据来自 5 家付费礼宾试点和 48 个案例，有效分为 [2.4, 3.2, 4, 2.4, 2.4, 2.4]，总分 16.8。

这个结果不是“16.8 一定成功”，而是说明后者当前证据更完整。评审仍要查看分项：行动项提取的交付能力只有 2.4，下一笔预算应验证准确率和返工，而不是立刻扩展更多格式。试点数据如何形成可信账本，可参考AI 产品礼宾式试点。

把 AI 特有成本放进验收条件

“交付能力”不能只填离线准确率。至少同时记录任务完成率、严重错误率、首次价值时间、单次推理成本、人工复核分钟数和失败后的恢复路径。同一功能换用更强模型可能提高质量却让毛利归零；减少复核可能加快交付却放大高影响错误。

为每个候选功能写一个最小证据计划。例如：选取 50 个经授权的历史案例，冻结评分规则；旧流程和新流程盲评；严重错误必须为 0，整体通过率至少 90%，每案例成本不超过 2 元，人工复核中位数不超过 3 分钟。上线后再通过AI 功能 A/B 测试验证真实行为，而不是把离线分数当成用户价值。

在线实验也必须保留护栏。借助Agent 在线评测指标的思路，把任务结果、工具失败、人工升级和成本连接起来。若主指标变好但投诉、退款或高风险错误增加，评分卡中的风险项必须立即更新。

防止评分卡变成数字装饰

常见失败有三种。第一，先决定功能再补分数；解决办法是让证据负责人和功能负责人分离，并保留反对意见。第二，把同一客户的五封邮件算成五个独立证据；解决办法是按组织和根因去重。第三，频繁改权重让偏爱的功能获胜；解决办法是每季度统一冻结权重，单项例外必须写入决策日志。

评分差距很小时，不要在小数点后争论。选择能最快减少关键不确定性的实验。例如两个功能都约 13 分，一个缺付费证据，另一个缺安全验证，那么下一步分别是报价试点与风险原型，而不是直接比较工程人天。

每月做一次证据审计

审计时随机抽取两个候选功能，逐条打开来源，确认样本属于目标用户、计算没有漏掉失败案例、证据尚未过期、原始数据与分数一致。然后检查已交付功能：上线结果是否回写评分卡，曾经高分但无人采用的原因是什么。评分体系若不能被现实结果纠正，就只是更复杂的意见投票。

真正有用的评分卡会让团队清楚看到“我们知道什么、还不知道什么、下一次实验消除哪项不确定性”。它不保证选中赢家，但能让每一笔开发投入都对应一条可验证的理由，并让错误决定更早暴露。

延伸阅读

• AI 产品礼宾式试点
• AI 功能 A/B 测试
• Agent 在线评测指标
• AI 功能灰度与 Feature Flag