高风险 AI 人工 Override：保留原建议、责任边界与结果闭环

“最终由人决定”不是完整控制。审核者可能只看到被截断的模型解释，可能因自动化偏见机械同意，也可能用紧急覆盖绕过权限。事后若系统只保存最终值，就无法区分 AI 建议、人类判断和真正执行的效果。欧盟 AI Act 第 14 条把理解能力边界、避免过度依赖、忽略或逆转输出以及停止系统列入高风险 AI 人类监督能力；落地时仍要把这些能力变成可测试的执行合同。

人工复核队列解决哪些任务进入谁的队列，Agent 人工审批门授权 Agent 即将执行的动作。本文关注另一阶段：AI 已形成建议或自动决定后，人类选择 DISREGARD、MODIFY、STOP 或 REVERSE，系统怎样保留责任与结果。它不是法律意见，也不能用技术日志替组织确定的问责制度。

先封存机器建议，再允许覆盖

界面加载前创建 machineRecommendation.v1，绑定 case、模型/数据、证据、建议、不确定性、限制、安全回执、有效期，以及 overrideBoundaryPolicyDigest、boundary generation/floor 和允许的 intervention。未校准分数不能伪装成概率。建议进入不可变存储后，UI 才能提交 humanOverrideRecord.v1。

schema: humanOverrideRecord.v1
caseId: risk-case-8841
caseGeneration: 12
recommendationDigest: sha256:14c...
boundary: { digest: sha256:72a..., generation: 44, floor: 41 }
intervention: MODIFY
operator:
  subject: workforce-identity-229
  roleSnapshot: clinical-reviewer@8
  competencyAttestation: domain-a@2026q3
reasonCode: CONTRADICTORY_PRIMARY_EVIDENCE
reasonNoteDigest: hmac-sha256:80e...
requestedEffectDigest: sha256:41b...
reversibilityDeadline: 2026-07-19T12:00:00Z
occurredAt: 2026-07-19T10:14:22Z

操作者身份来自当前 workforce identity，role 与培训证明保存当时快照但执行前还要实时复验。reason code 使用版本化词表，并允许受控说明；自由文本不能塞入患者、客户或密钥原文。原建议、证据和 override 是不同对象，覆盖操作永远不能改写模型输出让历史看似一致。AI 运行时安全判定回执证明机器策略到执行的绑定，本记录证明人类为何改变该路径。

人类也受不可覆盖边界约束

流程为 AI_PROPOSED -> HUMAN_REVIEW_READY -> OVERRIDE_COMMITTED -> EFFECT_CONFIRMED -> FOLLOW_UP_DUE -> CLOSED，另有 EXPIRED/CONFLICTED。提交 CAS 必须校验 case、建议期限、角色分离、资源版本、当前 boundary generation/floor 及 intervention 仍被允许；同一事务追加 override 和 effect outbox。并发只允许一个版本获胜。

跨租户导出、关闭强制记录或突破硬政策可标 NON_OVERRIDABLE，只提供停止和升级。高影响覆盖可要求两名角色批准同一 recommendation/effect digest。安全 STOP 走独立 fail-safe 通道，即使证据服务失败也立即可用；本地最小 break-glass receipt 稍后补齐，但不能借此执行 MODIFY/REVERSE。

effect executor 在外部 I/O 前以 PREPARED -> DISPATCHING CAS 匹配 override ID、requestedEffectDigest、目标版本和当前 boundary generation/floor；政策提升与 dispatch 只能一方成功。超时进入 RECONCILING，不能重点击。REVERSE 是新的关联事件，不删除首次覆盖。Agent 审批防重放可绑定一次效果，override 仍须保留原建议和 outcome。

评价结果，不评价点击数量

低 override 率可能代表模型准确或自动化偏见，高值也可能是退化或专家发现新证据。报告按用例、风险、模型、角色和人群切片展示各 intervention、理由、分歧、效果延迟及成熟后的 BENEFICIAL/HARMFUL/NO_CHANGE/UNKNOWN；未知必须留在分母。

Agent 在线评测指标连接行为与结果；override 数据只在授权、脱敏后作信号，不能把“人类不同意”直接标成模型错误。

发布门要求高风险覆盖 100% 绑定原建议、操作者和 effect confirmation；过期 boundary 或 NON_OVERRIDABLE 被突破为 0；dispatch CAS 覆盖率 100%；重复逻辑效果最多一次；角色撤销 60 秒内阻止覆盖；紧急停止 5 秒内接受、30 分钟内补记录；到期未复核为 0。

故障矩阵覆盖 UI 加载后政策变为 NON_OVERRIDABLE、commit 后 dispatch 前目标/政策变化、两人并发、角色撤销、第二批准人相同、效果成功但确认丢失、离线停止和已逆转事件重放。系统保留冲突与未知。AI 功能证据评分卡不能替代执行断言。

上线先对历史脱敏 case 重放 UI，只记录 would-override，不改变结果；让领域专家检查至少 100 个证据包，再在一个可逆、较低影响流程启用 5%，逐级扩大。异常时回滚 UI 和路由到上一版，但新旧 override 记录继续可读；若某模型 release 诱发有害覆盖，可停止该模型而不删除人类决定。紧急停止通道与不可覆盖底线不受普通 Feature Flag 回滚影响。