讨论前提
透明度说明:下文围绕AI 前沿的推理模型构造“面对需求变化时控制返工”案例,所有经历均为合成数据。
这里把“移动端与桌面端都能完成目标”作为完成定义,并让最终使用者检查推理模型有没有越过原始任务范围。
工程动作
针对模型总是改到无关文件,先用同一任务的盲测结果复现,再给失败路径留恢复入口;若复现条件改变,就回到把验收标准写成测试重新建立基线。
验收清单:
- 用同一任务的盲测结果固定“面对需求变化时控制返工”的当前基线。
- 请最终使用者复核结构化输出失败样本与任务边界。
- 若模型总是改到无关文件仍出现,停止扩大推理模型的改动范围。
失败时怎么办
证据门槛:如果同一任务的盲测结果不能复现模型总是改到无关文件,就先修正测试条件,而不是继续增加推理模型的实现范围。
选择“把提示词当作长期工程资产”之前,先确认结构化输出失败样本是否足以支持回退,否则这个选择不可逆。
完成定义需要同时包含正向结果和失败结果:前者用同一任务的盲测结果说明,后者用结构化输出失败样本定位越界修改。缺少任一侧,都不能宣称推理模型已经稳定。
回退方案:若“移动端与桌面端都能完成目标”没有满足,就停止自动执行并把决策交回人工审核,再由最终使用者重跑同一任务的盲测结果。
反方检查:若“面对需求变化时控制返工”只用于原型,严格回退看似过重;但最终使用者仍需声明原型不能进入哪些入口。
你的门槛
你会让谁负责确认同一任务的盲测结果:最终使用者还是实现者?两者结论冲突时怎样回到“移动端与桌面端都能完成目标”?