设计 Agent 的时候有个分歧:一种观点是 Agent 应该完全听话,工具调用有明确规则它执行就行;另一种是 Agent 应该有"判断力",遇到可疑操作主动拒绝。
我倾向后者,特别是涉及数据修改、对外发送的场景,宁可它多问一句。但实现起来很难——怎么定义"可疑",模型自己判断又不靠谱。
大家是怎么设计的?硬规则拦还是让模型自己判断?
设计 Agent 的时候有个分歧:一种观点是 Agent 应该完全听话,工具调用有明确规则它执行就行;另一种是 Agent 应该有"判断力",遇到可疑操作主动拒绝。
我倾向后者,特别是涉及数据修改、对外发送的场景,宁可它多问一句。但实现起来很难——怎么定义"可疑",模型自己判断又不靠谱。
大家是怎么设计的?硬规则拦还是让模型自己判断?
暂时没有回复。
Related
讨论
社区讨论帖,欢迎分享你的经验和观点。
讨论
最近在搭自己的 Agent 工作流,挑 MCP server 挑花了眼。官方的 filesystem、fetch、git 我都装了,社区里还有一堆数据库、浏览器、搜索的。 实测下来用得最频繁的是 filesystem 和 git,基本每天都在用;浏览器那个偶尔爬数据开一下;搜索类
讨论
MCP 热度很高,但我有点犹豫要不要投入精力。历史上这种"统一协议"翻车的不少,万一过两年又冒出个新标准,学了不就白学了。 不过看现在 Claude、Cursor、各家 IDE 都在拥抱 MCP,势头确实猛。我倾向于:作为用户先用起来(装几个现成 server 不需要学协议),作
讨论
想给公司内部系统包一个 MCP server,让 Agent 能查我们的工单系统。看了下官方 SDK,TS 和 Python 都有,但入门的 best practice 不多。 最困惑的是工具粒度怎么切:是给一个大而全的"查工单",还是拆成"按状态查""按人查""按时间查"一堆小