评测标签争议账本：双盲标注、Rubric 代际与仲裁接受点

“两个人各标一次，不同就找第三个人”仍可能产生不可审计的金标：第二位标注者先看到了第一位答案，题目在标注中途被编辑，仲裁者只选多数而没解释证据，或者新版 rubric 把旧标签原地改名。最终评测分数看似精确，却无法回答标签依据哪个标准、为什么改变以及哪些争议仍未解决。

Agent 评测数据集设计说明怎样从真实任务构造样本，本篇只治理一个冻结样本如何获得 canonical label。人工复核队列负责运营分流；标签仲裁不是批准业务动作，而是形成会影响模型比较的测量事实。

冻结题目、Rubric 与独立分配

发布 labelingRubric.v1，固定任务定义、label type、枚举与顺序、每类判定条件、反例、允许 abstain 的原因、必需证据跨度、语言/领域资格、盲化字段、最少独立标注数和仲裁规则。题目另有不可变 evaluationItem.v1，绑定输入、候选输出、必要上下文、来源快照、脱敏策略和 item digest。任何内容修订都创建新 item generation，旧标签不能自动迁移。

schema: labelingRubric.v1
rubric: support-correctness@7
labelType: ordinal
labels: [incorrect, major_issue, minor_issue, correct]
minimumIndependentLabels: 2
evidenceSpan: required
abstainReasons: [missing_context, conflict_in_policy, language_gap]

assignment service 对 item generation 与 labeler 做唯一分配，隐藏模型、Prompt、实验组和其他标注结果；同一人换账号、同一团队共享屏幕或按固定 A/B 顺序查看，都会破坏独立性。标注回执保存 rubric digest、item digest、labeler qualification snapshot、展示顺序、label、证据跨度、reason code 与耗时，但展示给下游时使用受控 pseudonym。AI 数据隐私合规约束原始用户内容与标注者身份的用途和保留期。

状态限定为 UNASSIGNED -> BLIND_LABELING -> AGREEMENT_CANDIDATE | DISPUTED | ABSTAINED -> ADJUDICATING -> ACCEPTED | EXCLUDED。两份相同标签也只是候选：系统先检查二者确由独立主体产生、rubric/item generation 一致、证据跨度有效且没有异常极速或复制指纹。分歧不能被平均成小数标签；名义、序数和多标签任务分别使用预注册规则。

仲裁保留分歧，不覆盖历史

争议包向仲裁者展示题目、rubric、两份去身份化标签与证据，但仍隐藏模型版本和实验 winner。仲裁输出 adjudicationDecision.v1，包含接受标签或 EXCLUDED_UNRESOLVED、逐条理由、引用证据、是否发现 rubric 缺口、影响范围和复审期限。若缺口会改变一类题目的解释，应先发布 rubric v8，再把受影响 item 明确重派；不能让仲裁者在 v7 下临时发明新标准。

唯一接受点是 label registry 的 acceptCanonicalLabel 事务：同时匹配 item generation、rubric digest、独立 assignment root、所需原始 label digest、仲裁 decision 和尚未设置的 canonical generation，随后写不可变 label receipt 并原子切换该 item 的 active label pointer。重复提交返回同一 receipt，迟到标注留在证据账本但没有覆盖权。标签被申诉后创建 generation 2，以 supersedes 指向 generation 1；多 Agent 结果冲突仲裁提供一般 provenance 图，本账本进一步要求标注独立性与 rubric 一致。

评测 run 必须固定 label generation root，不能总读 active pointer 后让历史分数漂移。新标签代际只进入新 run；若发现泄题或系统性误标，受影响旧 run 标成 EVIDENCE_REVOKED，但原报告和撤销原因仍保留。训练数据集快照 Manifest中的不可变成员思想同样适用于评测标签集合。

用泄漏和改版攻击一致性

故障套件注入同一标注者重复领取、第二人看到第一人答案、模型名称从隐藏 HTML 泄漏、A/B 顺序固定、item 内容换代、rubric 在提交间升级、证据跨度指向旧文本、重复回执、仲裁与迟到标签竞争、少数类全被 abstain，以及管理员直接改数据库标签。预期跨 generation 接受为 0、非独立 agreement 接受为 0、active pointer 每代最多一次、争议原始判断保留率 100%。

门禁按 label type 报 Krippendorff alpha、加权 kappa 或逐类一致率，不能只给一个总体数掩盖少数类。正式发布要求双标覆盖率 100%、证据跨度有效率至少 99.5%、未决争议低于预注册上限、每类复审样本的仲裁复现率达到目标、身份/模型泄漏为 0、canonical receipt 覆盖率 100%。先 shadow 运行新 rubric，再对 5% 新 item 双轨标注并比较分歧结构；回滚只把新 run 的 label-set alias 切回上一完整 generation，已产生的 v8 标签继续封存，绝不覆盖成 v7 或删除“不好看”的争议。