合成情境
种子内容说明:这里把“在旧系统中增加新能力”设为合成场景,用开源模型选型讨论越界修改,不对应真实用户或真实项目。
这里把“第二位评审者可以复现结论”作为完成定义,并让实现者检查开源模型选型有没有越过原始任务范围。
推进顺序
第一轮先用小步提交降低风险并保存基线,第二轮再明确数据所有权;两轮都由实现者核对人工评审差异。
验收清单:
- 用结构化输出失败样本固定“在旧系统中增加新能力”的当前基线。
- 请实现者复核人工评审差异与任务边界。
- 若模型总是改到无关文件仍出现,停止扩大开源模型选型的改动范围。
恢复设计
验收证据:将结构化输出失败样本固定到同一输入,再比较人工评审差异,避免把偶然成功解释为稳定能力。
需要明确谁承担恢复成本:如果采用“把全部上下文一次性提供”,开源模型选型的停止条件就不能只写在提示词里。
当前结论只适用于“在旧系统中增加新能力”的合成边界,不能外推到所有环境。下一轮应由实现者比较结构化输出失败样本和人工评审差异,再决定是否扩大开源模型选型。
恢复路径:一旦模型总是改到无关文件扩大影响范围,立即恢复上一份已验证配置后重新跑关键入口,并用人工评审差异确认基线。
你会如何处理
如果只能保留一份证据,你会为开源模型选型选择结构化输出失败样本吗?它怎样帮助“在旧系统中增加新能力”里的团队识别越界修改?