AI 安全分类器阈值发布门：校准误差、风险切片与处置边界

安全分类器从 0.79 变成 0.81 并不自动意味着风险更高。分数尺度会随模型、tokenizer、训练分布和校准方法变化；把旧版 0.8 阈值复制到新模型，可能同时放大漏检与误杀。AI 内容审核系统介绍输入、输出和 UGC 的分层审核，本篇不重复审核架构，只管理“某版分数如何变成处置”的发布制品。

阈值必须与分数生成链一起版本化

Guo 等人的研究说明现代神经网络即使分类准确，也可能校准不良。safetyThresholdRelease.v1 不能只保存小数；它要绑定分类器、预处理器/tokenizer、标签本体、校准器、数据集与评估代码、类目损失、阈值/等号语义、灰区动作，以及允许消费它的 environment、service audience、产品入口、语言/媒体 applicability 和 action schema digest。

{
  "schema": "safetyThresholdRelease.v1",
  "releaseId": "safety-thresholds-2026-07-19.2",
  "classifierDigest": "sha256:91e...",
  "preprocessorDigest": "sha256:07a...",
  "ontology": "harm-taxonomy@7",
  "audience": "moderation-gateway-prod",
  "applicability": { "entry": ["ugc"], "language": ["zh", "en"], "media": ["text"] },
  "actionSchemaDigest": "sha256:45a...",
  "calibrator": "temperature-scaling@3",
  "calibrationSet": "safety-cal-2026q2",
  "testSet": "safety-test-2026q2-sealed",
  "actions": {
    "self-harm-severe": { "reviewAt": 0.41, "blockAt": 0.73 },
    "harassment": { "reviewAt": 0.68, "blockAt": 0.91 }
  },
  "comparison": "score >= threshold"
}

用于拟合校准器、选择阈值和最终验收的数据必须分开；同一近重复样本不能跨集合。标签变更要提升 ontology 版本，旧标签不能靠名称相似自动映射。多标签输出分别设阈值，组合冲突由显式 decision table 解决，例如一个类目要求阻断、另一个要求复核时取更严格动作。NaN、缺失类目、未知语言或不受支持媒体类型进入 ABSTAIN，绝不能被默认零分吸收到允许区。

release 状态固定为 DRAFT -> CALIBRATED -> SEALED_TESTED -> APPROVED -> ACTIVE -> RETIRED，危险缺陷进入 REVOKED。发布接受点是 registry 按 environment/audience 以 CAS 切换闭合 bundle；模型、校准器、阈值、action schema、applicability、报告与批准摘要必须匹配。reader 对每次请求校验入口、语言、媒体和 audience；错载、未覆盖切片或半套组合一律 ABSTAIN。

LLM 应用评测体系回答版本整体是否值得发布；阈值 release 只回答固定分数在当前风险成本下应触发什么动作。两者共用证据可以，但不能用总体胜率替代严重风险类目的漏检上界，也不能用分类器离线分数直接承担人工作业队列容量规划。

用切片和置信区间拒绝平均数幻觉

评估报告同时给出每个 action 的混淆矩阵、召回率、误报率、precision、校准曲线、Brier score、Expected Calibration Error、样本数与区间估计。ECE 对分箱敏感，必须冻结分箱方法并同时展示可靠性图；区间算法、单侧或双侧方向也属于 release。若同时门控许多类目和切片，要预先分配显著性预算或使用同时置信区间，不能从大量 95% 区间里挑通过者。

先定义强制切片：语言、地区、输入长度、编码变体、产品入口、模型输出与用户输入、已知对抗形式，以及业务确认的敏感人群交叉切片。每个切片必须保持自己的分母。样本不足就标 INSUFFICIENT_DATA 并阻断相关适用范围，不能合并进总体后继续放量。Agent 评测数据集设计提供数据版本原则；这里还要求在阈值选择前冻结高危正例与正常难例的最低样本量。

例如，风险委员会可预先批准这样的门：每个严重类目和强制切片至少 300 个独立正例，按 release 固定并经多重比较校正的单侧置信上界下，漏检率不超过 2%；每个正常业务切片至少 1000 个负例，误阻断率上界不超过 1%；整体 ECE 不超过 0.03；ABSTAIN 不超过 8%，且任一切片相对当前版本的误阻断恶化不超过 0.5 个百分点。数字不是行业通用答案，但一旦评估开始就不可临时放宽。若正例客观不足，应限制产品范围或进入人工判断，而不是伪造精度。

把阈值错误作为一等故障

故障夹具覆盖百分数 73 被读成 0.73、label 交换、漏校准器、Unicode 错版、阈值等号、NaN、批行错位、测试泄漏、部分标签，以及把 UGC/text/zh bundle 错载到客服/image/en audience。系统应拒绝 release 或 ABSTAIN，不能沿用默认阈值。评测驱动开发接入 CI；线上 reader 的 bundle 与 scope 必须和离线报告相同。

发布时对同一真实请求同时计算旧、新分数与动作，但只有旧版有执行权。至少覆盖一个完整业务周期后，先给 1% 随机且稳定 cohort 启用新 release，再扩大到 5%、25% 和 100%；每级观察确认后的漏检、申诉改判、误阻断、ABSTAIN、延迟和切片差异。线上反馈有选择偏差，只能作为漂移信号，不能替换密封测试集。Agent 在线评测指标可承接产品结果，但阈值团队必须保留原始分母和迟到标签水位。

异常时将 threshold alias 原子切回上一版，同时保留新旧分数、动作和用户申诉结果。若新模型的分数尺度与旧阈值不兼容，应把模型与阈值作为闭合 bundle 一起回滚，不能只改一个配置值“止血”。模型服务金丝雀发布管理模型流量；这里独立验证每个流量桶加载了哪份阈值 digest，避免模型已回滚而校准器仍滞留。被 REVOKED 的 release 不得作为回滚目标。