场景和目标
透明度说明:下文围绕AI 前沿的推理成本构造“从一句模糊想法到可运行页面”案例,所有经历均为合成数据。
场景只保留一个主要风险:生成结果看起来正确却无法运行;对应门槛是让同一任务的盲测结果可由实现者重复核对。
操作边界
将“从一句模糊想法到可运行页面”写成可重放任务,分别记录推理成本的预期、实际与回退点,然后按保持改动范围可解释收敛差异。
验收清单:
- 用版本固定的复现实验固定“从一句模糊想法到可运行页面”的当前基线。
- 请实现者复核同一任务的盲测结果与任务边界。
- 若生成结果看起来正确却无法运行仍出现,停止扩大推理成本的改动范围。
验收闭环
验证记录:实现者只根据版本固定的复现实验判断本轮完成度,同时把同一任务的盲测结果留给环境差异复查。
当生成结果看起来正确却无法运行出现时,继续扩大自动化可能更快,也可能让实现者失去根据同一任务的盲测结果定位责任的机会。
如果“数据关系能够从明细重新计算”通过,可以把推理成本推进到更大样本;如果未通过,就保留版本固定的复现实验并执行恢复。这个分支必须在“从一句模糊想法到可运行页面”开始前写清楚。
停止条件:版本固定的复现实验无法复现或权限超出边界时,执行“关闭新增权限后重新确认必要工具”,不继续追加推理成本改动。
分歧点
请分享一个可重放的检查顺序:推理成本遇到生成结果看起来正确却无法运行时,先看输入、权限还是同一任务的盲测结果?