编程 Agent 工具选型基准：冻结仓库任务、盲评证据与采购门禁

公开榜单能说明模型在某个冻结数据集上的表现，却不能回答候选工具能否理解本公司的构建系统、权限边界和评审要求。现场 Demo 更容易偏：厂商挑熟悉任务，工程师给某一工具额外提示，失败运行被重来，最终只展示最好的一次。AI 编程工具横评提供产品形态概览，本篇只解决采购前如何生成可审计、可复算的仓库级比较证据。

冻结 benchmarkPortfolio.v1

决策 owner 先发布不可变的 coding.toolBenchmarkPortfolio.v1。每个 taskId 绑定授权仓库、base commit、问题陈述摘要、允许路径、构建镜像 digest、依赖缓存策略、网络与工具权限、时间和 token 预算、隐藏验收 oracle、风险级别及污染检查。任务覆盖缺陷修复、小功能、跨包重构、测试补强和只读诊断，但不能把真实未公开漏洞直接交给不允许的数据边界。

schema: coding.toolBenchmarkPortfolio.v1
portfolio: platform-q3@4
taskId: checkout-timeout-017
baseCommit: 91af0c2
runnerImage: sha256:7b1...
budget: { wallSeconds: 1800, modelUsd: 8 }
oracleBundle: sha256:34d...
accessProfile: repo-write-no-network.v2

SWE-bench 展示了用真实仓库 issue 和测试评估修复能力的基本形态，但企业基准还要处理本地依赖、私有接口和权限。题目作者与工具操作者分离；oracle 在执行前密封，候选不可读。任务若已进入模型训练、公开修复或厂商调优集，就标记 CONTAMINATED 并移出正式分数，不能靠换 issue 标题继续使用。

Portfolio 要按仓库语言、规模和变更类型分层。只选十个容易修的 bug 会高估自动化价值；只选历史事故又会低估日常吞吐。每层预先规定样本量和最小能力，不在看到结果后调整权重。任务 revision、环境或 oracle 变化都生成新 generation，旧结果不能混入新组合。

同一接受边界，而不是同一句 Prompt

候选工具的交互形态不同，强迫使用完全相同 Prompt 反而不公平。公平条件应是同一任务材料、权限、预算、起始树和接受边界。每次 run 记录工具与模型 revision、配置摘要、输入材料、命令回执、补丁 tree、耗时、费用、人工介入及终止原因。遥测可参考固定 revision 的 OpenTelemetry GenAI 语义约定，但其当前仍是 Development，采用方必须锁定 schema；高基数代码和 Prompt 只保存受控摘要。编程 Agent 命令执行回执证明命令事实，改动验证门继续判断候选补丁是否满足仓库检查。

同一任务对所有候选采用随机顺序，并至少运行三个预注册 seed 或独立会话。超时、工具崩溃、拒绝执行和需要人工救援都是结果，不能无限重试到成功。基础设施故障只有在所有候选共享且有回执证明时才可重跑；单一候选丢失状态计入可靠性。成本同时报告供应商费用、runner 资源和人工分钟，不能只比 token 单价。AI 成本归因提供请求级材料，本基准把它归并到任务结果。

独立 oracle 与盲审

机器 oracle 先在 base commit 上证明会失败，再在已知正确修复上证明可判别；测试、静态规则和运行断言都绑定 oracle digest。候选补丁通过隐藏检查后，由不知道工具身份的 reviewer 检查需求外改动、维护性和风险。W3C PROV 的 entity/activity 关系可连接 task、run、patch、oracle 和裁决，但最终 winner 必须来自版本化规则而不是图表截图。

结果至少分为 SOLVED / PARTIAL / INVALID / TOOL_FAILURE / INFRA_FAILURE。主要指标使用分层后的任务解决率和置信区间；同时报告首次有效补丁时间、人工介入、越界写入、验证通过率和单位成功成本。非确定工具应用配对 bootstrap 或预注册的分层模型，不把三次运行当成三个独立仓库任务。Agent 回放评测检查控制流退化，本篇比较的是完整工具产品在固定工作合同下的交付结果。

用偏置注入攻击选型结论

故障演练包括：给一个候选预热索引、泄露隐藏测试、把缓存命中费用记成零、只重跑失败候选、交换模型 revision、放宽某工具网络权限、让 reviewer 看见品牌、删掉超时 run，以及在评测中途更新扩展。系统必须分别报 UNEQUAL_ACCESS、ORACLE_EXPOSED、COST_INCOMPLETE、SELECTIVE_RETRY、REVISION_DRIFT 或 BLINDING_BROKEN，并使受影响比较失效。

采购门要求任务材料覆盖率 100%、候选 access profile 一致率 100%、隐藏 oracle 泄漏为 0、run 丢失为 0，且确定性的盲化审计确认品牌字符串、文件路径、作者、补丁 metadata、遥测字段和 UI 样式均已移除。身份猜测显著高于随机只能证明破盲；即使在预注册样本量下不显著，也不能证明未破盲。关键仓库层的解决率下界还须达到预注册阈值，越界写入为 0。上线先在只读诊断和低风险修复中 shadow 使用胜出工具，再给 5% 合格任务开放写入。若真实解决率低于基准 10 个百分点、人工分钟翻倍或出现一次未授权写入，就暂停自动分配并切回旧工具。基准、负向结果和旧 reader 保留到续约周期，下一次采购重新冻结 portfolio，而不是让一次胜利永久有效。