客服自动化接管策略：校准置信、升级队列与人工续接

客服模型说“我有 92% 把握”并不能证明答案正确：这个数字可能只是生成 token 的概率，和知识是否过期、订单工具是否查到本人、退款政策是否适用没有可校准关系。反过来，把统一阈值调高也不一定安全，中文小样本、愤怒投诉和账户安全问题可能仍被平均指标掩盖。真正的控制点是：基于哪些可验证证据，允许系统占用面向客户的回复权。

端到端 AI 客服 Agent介绍 RAG、工具查询和基本转人工架构。本篇不重建客服产品，而是定义运行时 decision policy 与所有权交接；Agent 人工复核队列给出通用风险路由，高风险 AI 人工 Override记录机器已经形成建议后人类如何改变结果。这里的 handoff 发生在未经审核的回复获得发送权之前，并进一步约束会话 SLA、明确请求人工和客服队列容量。

置信是校准后的决策输入，不是模型台词

发布不可变 supportDecisionPolicy.v1，固定可自动处理的 intent、语言与渠道、风险 tier、模型/RAG/tool bundle 摘要、校准集 snapshot、阈值、最大轮次、队列路由和生效窗口。输出只有 AUTO_REPLY、DRAFT_FOR_REVIEW、ESCALATE_NOW、ABSTAIN 四类，并给稳定 reason code；生成模型不能自行选择跳过政策。

schema: supportDecisionPolicy.v1
revision: 12
bundle: support-cn@sha256:81f...
autoReplyIntents: [shipping_status, password_reset_help]
forbiddenAutoReply: [refund_commitment, account_lock, legal_threat]
thresholds:
  lowRiskSupportedAnswer: 0.93
  toolIdentityBinding: 1.00
maxUnresolvedTurns: 2
handoffSla: {urgent: 5m, normal: 4h}

决策器读取证据向量：检索片段是否覆盖答案 claim、来源版本和有效期、工具是否返回绑定当前账号的 receipt、身份验证级别、规则命中、用户是否明确说“人工”、重复未解决次数、语言切片及潜在伤害。任何关键证据缺失都产生 INSUFFICIENT_EVIDENCE，不是把缺失字段当零后继续平均。退款承诺、封禁、安全与法律类请求直接升级，不允许高模型分数覆盖硬边界。

概率模型需要在独立标注集上做 calibration，并按 intent、语言、客户层级和风险切片报告 reliability curve、Brier score 或 ECE。现代神经网络的高置信可能失准，温度缩放等方法只能校正统计关系，不能补回缺失证据。AI 安全分类器阈值发布门负责单个安全分类器从分数到处置的版本；客服政策消费其回执，但还必须联合检索、身份、工具和队列证据。NIST AI RMF 与生成式 AI Profile 强调按风险治理、测量和人工监督；因此阈值必须连接“错误自动回复的代价”，而不是追求更漂亮的自动解决率。

接管是一条有 fencing 的状态机

会话状态限定为 BOT_ACTIVE -> HANDOFF_REQUESTED -> QUEUED -> HUMAN_CLAIMED -> HUMAN_ACTIVE -> RESOLVED。进入 HANDOFF_REQUESTED 的同一 canonical 事务创建稳定 case、把 owner 切为 HUMAN_PENDING、提升 sender generation，并写 handoff packet 与 queue outbox；QUEUED 只在 durable queue ack 后成立。packet 包含原始诉求、引用摘要、已尝试步骤、工具 receipt、未解决原因、身份/风险和脱敏证明。摘要只是导航，不能把模型推断写成客户事实。

人工领取会再次递增 ownerGeneration。所有消息发送入口必须同时比较 case、owner、policy 与 sender generation：从请求 handoff 起，旧 bot 即使晚到也只能保存草稿。退回自动化必须由人工显式选择新 policy revision 和允许 intent，再增加 generation；队列超时不会自动把控制权交还模型。Agent 故障恢复顺序可决定重试或升级，但客服 channel 的发送权仍由所有权记录裁决。

队列过载时不降低置信阈值来压低转人工率。队列故障时 case 保持 HUMAN_PENDING 且 bot 继续被 fence，只有持有当前 sender generation 的控制面可发不含结论的排队确认。系统可收集必要字段，并按安全、付款中断、服务不可用和普通咨询设优先级。明确要求人工的用户不必先和 bot 多聊三轮；handoff SLA 从请求时开始。

评测漏转，而不只统计转了多少

离线集包含正确自动答复、应草拟、应立即升级和必须拒答的对照，并保留独立 adjudication。主要门禁是 harmful auto-reply rate、漏转率、证据支持率和身份绑定错误；自动解决率只是容量收益。Agent 在线评测指标连接离线与真实用户结果，本策略还需跟踪转接等待 p50/p95、人工改写率、重复联系率、接管后 bot 竞态阻断数，以及每个切片的 calibration drift。

故障套件让检索返回过期政策、工具超时却生成乐观答案、用户用不同语言说要人工、同一问题重复三次、攻击文本伪造“系统已批准退款”、人工与 bot 同时发送、两个坐席并发领取、队列服务中断、owner generation 丢失，以及某语言置信整体抬高。断言硬风险自动回复为 0，明确人工请求漏转为 0，身份不完整时写操作承诺为 0，旧 owner 成功发送为 0。

上线门要求低风险切片证据支持率至少 99%。每个强制风险切片预注册单侧 95% Clopper-Pearson 上界、跨切片 alpha 分配，并至少有 3000 个独立且结果成熟的自动回复样本；不足即 INSUFFICIENT_DATA 并阻断，不能用零事件假装安全。harmful auto-reply 上界须低于 0.1%，ECE 不高于 0.03，明确人工请求 30 秒内入队率至少 99.9%，handoff packet 必填覆盖率 100%。先 shadow，再开草稿，最后只给两个低风险 intent 启用 5%。

若伤害样本出现一次、任一风险切片漏转越界、队列 p95 超 SLA 两倍或 owner fencing 缺失，原子把 policy alias 切回 DRAFT_ONLY 并提升 sender generation。已排队 case 保持人工所有权，历史 decision 与人工修改不可覆盖；修复后用新 revision 重放离线和 shadow 流量。用户数据的保留和交接可见范围遵守 AI 数据隐私合规，回滚不能成为延长保存的理由。