长上下文位置回归测试：证据平移、干扰与截断门禁

长窗口接口接受请求，只证明字节进入了服务，不证明关键证据在任意位置都被可靠使用。Lost in the Middle 的原始研究展示了相关信息位置变化会影响长上下文任务，LongBench 则提供多任务长上下文评测框架。本篇不重复 长上下文与 RAG 取舍 的架构选择，也不把 Prompt 工程 的“重要内容放两头”当作验收；目标是让模型、tokenizer、模板或装配器每次发布都经过同一位置回归。

记忆压缩 负责持久事实整合，KV Cache 准入 负责显存压力。这里既不摘要输入也不压测吞吐，只检测同一语义证据被平移、包围或截断后，业务断言是否改变。

先定义可平移的样本合同

每个 case 将不可变任务与可变布局分开。evidence 使用合成或已获授权且脱敏的文档，标明能支持的 claim；distractor 与主题相近但不能推出答案。builder 在目标 tokenizer 下构造长度和位置，保存最终 token span，不能按字符偏移猜测。

{
  "caseId": "policy-exception-017",
  "queryHash": "sha256:8b12...",
  "evidenceIds": ["doc-a@4", "doc-c@2"],
  "requiredClaims": ["approval_required", "region_exception"],
  "forbiddenClaims": ["auto_approved"],
  "layout": {
    "targetTokens": 65536,
    "evidenceSpans": [[31820, 32144], [48210, 48402]],
    "distractorSeed": 9417,
    "templateDigest": "sha256:1c0f..."
  },
  "modelRevision": "model@2026-07-01",
  "tokenizerDigest": "sha256:2f4a..."
}

位置矩阵同时用相对分位和绝对 token span：开头、前中、中点、后中、末尾，并覆盖不同总长度。每个变体保持问题、证据字节、证据间逻辑和输出 schema 不变，只移动填充块；填充来自同领域的确定性语料，避免一眼可排除的随机词。若平移改变了角色边界或文档顺序语义，这不是合法变形，必须建成另一类 case。

oracle 要能指出漏读哪条证据

抽取任务优先使用字段精确匹配、数值和单位、证据 ID 与引用 span；问答任务检查 required/forbidden claims，并要求证据不足时明确 abstain。模型裁判只评价无法确定性判定的表达，且固定裁判版本与 rubric。多证据 case 覆盖顺序、否定、例外和相互冲突；“needle 出现了某个随机口令”不能代表真实综合能力。

分析计划在运行前冻结 case、位置、重复次数、解码参数、seed 集、主指标和停止规则。每个 (case, length, position) 使用同一组 seed 做候选与基线配对重复，执行顺序随机交错，避免供应商时段漂移被误认为位置效应。报告保存配对差、每个 case 的最差位置、位置极差、缺失 claim 和错误引用，不用全局均分掩盖中段退化。

发布门使用预声明的 bootstrap 或二项置信区间，并说明多位置、多长度比较的 family-wise error 或 FDR 控制；随机一次失败不能直接代表稳定回归，高风险 forbidden claim 则立即进入独立安全审查。切片至少覆盖语言、任务风险、证据数量、单跳/多跳和总长度，每个切片设置最低 case 数与有效重复数；样本不足标 INCONCLUSIVE，不能与大切片合并后放行。质量门比较候选相对生产基线的置信下界，并同时约束绝对正确率。

把装配错误与模型退化分开

流水线先对最终渲染字节做结构检查：所有 evidence hash 存在、span 未越界、token 总数符合合同、服务端回显或本地编码没有静默截断。然后用同一模型分别运行“证据单独短输入”和完整变体；短输入也失败说明任务或模型能力有问题，只有长变体失败才指向位置、干扰或装配。

故障注入包括：tokenizer 升级导致位置漂移，网关预留工具 schema 后裁掉尾部，检索器把同分文档重排，模板新增长安全片段，序列化器重复一个 distractor，以及供应商实际窗口小于目录配置。断言 builder 要么重新生成精确 span，要么拒绝 fixture，绝不拿旧偏移继续测试。Tokenizer 兼容迁移 的双跑可把编码变化与模型变化拆开。

另做 evidence absent 负例、相同证据不同位置的缓存命中与未命中对照、单证据和多证据组合。Prompt 前缀缓存只能改变 prefill 成本，不能改变断言；若命中组与冷请求行为系统性分叉，应作为运行时正确性事故而不是评测噪声。Agent 回放评测 可保存实际事故布局，再由本矩阵生成位置变体。

发布和回滚绑定完整运行规格

候选模型先离线全矩阵，再影子运行脱敏生产布局；发布记录绑定模型、tokenizer、模板、装配器、测试集与分析计划 digest。上线观测按语言、风险、上下文长度与证据分位统计引用缺失、abstain、截断拒绝和位置差，但不记录原始 Prompt。

退化时回滚整个运行规格，不只换模型别名：恢复 tokenizer、模板与装配器兼容组合，失效旧长度和前缀缓存，并把新增失败布局固化为 case。若旧模型已不可用，临时降低允许窗口、改用检索后短上下文或拒绝高风险任务；不能继续宣称支持一个没有通过最差位置门禁的长度。

延伸阅读

• 长上下文与 RAG 取舍
• Prompt 工程系统
• Tokenizer 兼容迁移
• Agent 回放评测