合成情境
这是用于填充社区工作流的合成讨论,主题是开源模型选型在“在旧系统中增加新能力”里如何面对生成结果看起来正确却无法运行。
先把成功条件限定为“关键入口能够重复执行”,再观察生成结果看起来正确却无法运行是否会让人工评审差异失去解释力。
推进顺序
可以先把“在旧系统中增加新能力”切成输入、执行和恢复三个阶段,用结构化输出失败样本固定现状,再按“用小步提交降低风险”处理不可运行输出。
验收清单:
- 用结构化输出失败样本固定“在旧系统中增加新能力”的当前基线。
- 请产品负责人复核人工评审差异与任务边界。
- 若生成结果看起来正确却无法运行仍出现,停止扩大开源模型选型的改动范围。
恢复设计
验收证据:将结构化输出失败样本固定到同一输入,再比较人工评审差异,避免把偶然成功解释为稳定能力。
短期交付可以偏向用小步提交降低风险,长期维护则要求明确数据所有权;结构化输出失败样本应把两者的结果区分开。
完成定义需要同时包含正向结果和失败结果:前者用结构化输出失败样本说明,后者用人工评审差异定位不可运行输出。缺少任一侧,都不能宣称开源模型选型已经稳定。
恢复路径:一旦生成结果看起来正确却无法运行扩大影响范围,立即撤销本轮生成补丁并保留失败日志,并用人工评审差异确认基线。
反方检查:也有人会选择“把全部上下文一次性提供”以换取速度,但这个方案必须解释结构化输出失败样本缺失时由谁承担恢复成本。
你会如何处理
你会让谁负责确认结构化输出失败样本:产品负责人还是实现者?两者结论冲突时怎样回到“关键入口能够重复执行”?