模型配对比较的序贯检验：预注册、Peeking 与多重比较控制

团队用同一批问题比较 A 与 B，每跑 50 题看一次 p 值；第 150 题显著就宣布 B 胜出，不显著则继续到 500 题。普通固定样本检验的错误率假设只看一次，这种可选停止会增加偶然“胜利”。如果同时比较五个候选、只公布最好的一个，问题还会被多重比较放大。

LLM 应用评测体系说明为什么业务任务比公开榜单重要，编程 Agent 工具选型基准冻结仓库级任务和盲审。本篇专门处理同一 item 上的 pairwise outcome 如何按序贯计划形成一个可接受结论，不讨论 Judge 本身是否合格。

在看到结果前注册比较计划

发布不可变 pairwiseComparisonPlan.v1，固定 baseline/candidate release、item membership root、配对单位、重复 seed、A/B 展示顺序随机化、Judge 或人工 rubric、主 outcome、tie/abstain/UNKNOWN 与 paired-censor 规则、provider request 查询、目标 estimand、最小实际效应、alpha/power、最大样本、观察点、序贯方法与边界、futility 规则、候选 family 和 multiplicity 调整。看见中间结果后改 tie 算法或删除难题必须创建新实验。

schema: pairwiseComparisonPlan.v1
experiment: model-b-vs-a@3
itemRoot: sha256:9ac...
unit: item
outcome: [A_WIN, B_WIN, TIE, INVALID, OUTCOME_UNKNOWN]
looks: [200, 400, 800]
alpha: 0.05
spending: precomputed-boundary@sha256:30e...
maxN: 800
family: q3-candidate-set@4

Wald 的原始论文建立了序贯检验及其错误边界的基本思想；NIST 的 multiple comparisons 指南说明多组推断不能沿用单次比较的名义错误率。实际可以选 group-sequential alpha spending、始终有效的 e-value 或其他经过验证的方法，但计算器版本、假设和适用分布必须进入 plan，不能把固定样本 p 值每小时重算包装成序贯检验。

同一 item 同时生成 A、B，绑定相同输入、工具 fixture 和适用的随机条件，形成 pair slot；按预注册规则随机展示 A/B，Judge receipt 再映射回真实 release。LLM Judge 校准约束位置和风格偏差。每侧调用绑定稳定 attempt/provider request ID；响应不明先按同 ID 查询，不能换 ID 或单边补跑。只有 plan 预注册 paired censor 且证据证明 attempt 未发生或不可恢复，才能把整 pair 记 INVALID/censored；否则保持 OUTCOME_UNKNOWN 并阻断 look。已确认失败也只按 plan 成对重试。用户级重复任务按用户或会话 cluster 估计不确定性，不能把相关请求当独立样本膨胀 n。

每个观察点只有一次接受机会

实验状态为 REGISTERED -> COLLECTING -> LOOK_READY -> CONTINUE | STOP_EFFICACY | STOP_FUTILITY | MAX_SAMPLE -> SEALED。每侧 attempt 为 REQUESTED -> RESPONSE_RECORDED | OUTCOME_UNKNOWN | FAILED_CONFIRMED；UNKNOWN 经 RECONCILING 后只能凭同 request ID 进入已知终态。collector 对 (experiment, item, replicate) 去重，保存两侧 attempt receipt、artifact digest、展示顺序、verdict release 与终态。只有累计有效 pair 到达计划 look、所有较早 slot 均终结且 OUTCOME_UNKNOWN = 0，并且每个 censored slot 都有 plan 允许的 paired-censor receipt，才产生不可变 data root。

唯一接受点是 statistics registry 的 commitSequentialLook CAS：匹配 plan digest、look ordinal、累计 pair root、attempt/reconciliation root、randomization root、Judge release、paired-censor receipt root 和候选 family generation，要求纳入窗口 OUTCOME_UNKNOWN = 0，重算边界后写 look receipt；若跨越终止边界，同一事务写 terminal decision，禁止后续样本改变 winner。两个 analyst 重跑或迟到 verdict 只能触发审计差异，不能挑选更有利的 root。

比较三个以上候选时，family 在首次注册时闭合，并把 sequential 与 multiplicity 控制联合进边界。看到 A/B 结果差再临时加入 C，或把失败候选拆成新实验编号，仍属于同一决策族。探索性结果可以展示，但必须标 EXPLORATORY，不能使用正式 alpha 语言。Agent 在线评测指标负责胜出后的真实 guardrail，不应把离线显著等同业务收益。

用可选停止制造假 Winner

故障套件在零效应模拟中每 10 项偷看、只保留显著 seed、固定 candidate 在首位、重复高胜率 item、丢弃 tie、模型接受后丢 ACK、provider 查询不可用、单边换 ID 补跑、Judge 中途换代、延迟负向 verdict、制造 sample-ratio mismatch、只登记多候选赢家，并让两个 look writer 竞争。预期未计划 look、UNKNOWN 未清或无证据 censor 的正式 decision 均为 0，terminal 后改判和重复 pair 入分母为 0。

门禁要求至少十万次 null simulation 的 family-wise type-I error 上置信界不超过预注册 alpha，目标效应下 power 达标；commit 时 UNKNOWN 为 0、paired-censor receipt 覆盖率 100%，顺序 50/50 偏差、pair 缺失率和 Judge abstain 均低于阈值；100% decision 可回到 plan、data root 与边界实现。Agent 评测数据集设计继续检查 slice 覆盖。新检验器先 shadow 重算历史实验，再接管一个低风险候选族。若校准模拟、数据守恒或线上 guardrail 失败，serving alias 回切基线；实验 receipt 和负向结果保留，绝不重开样本直到得到想要的答案。