求助：怎么防止 Agent 调用危险工具
给 Agent 配了一堆工具，但有几个是高危的（删数据、发邮件、改权限）。担心它哪天误判调用，想加层防护。 现在的做法是给工具打"危险等级"标签，高危工具调用前强制弹人工确认。但 Agent 有时会"绕路"，比如用一堆看似无害的工具组合达到危险效果。 有没有更稳的拦截思路？大家都
#AI Agent♥ 930 comments
Posts
Community Posts
Start discussions like a forum — great for questions, opinions, tool recommendations, and experience sharing.
我的 Agent 失败重试模式
Agent 调用工具总会失败，网络抖、参数错、服务挂。分享一下我用的重试模式，比较稳。 核心是：区分"可重试错误"（超时、限流）和"不可重试错误"（参数校验失败、权限拒绝），前者指数退避重试，后者直接把错误回喂给模型让它调整。 把错误回喂给模型这一步很关键，比无脑重试聪明多了。大
#AI Agent♥ 40 comments
你现在主力调哪家的大模型 API？
我做应用基本离不开 API 调用了，以前是某一家死忠，最近半年纷纷转向多供应商。原因一是价格战打起来，二是各家各有擅长，三是怕单一供应商出故障全盘崩。 我现在主力推理用一家，工具调用用另一家，便宜路由用开源小模型，靠一个统一网关切换。 缺点是不同模型行为差异大，prompt 经常
#LLM♥ 110 comments
RAG 值得学吗？长上下文会不会把它淘汰
每次看到"上下文又翻倍"的新闻，都有人喊"RAG 要死了"。但我学了一阵子 RAG 之后觉得，这说法太夸张。 长上下文确实能塞下更多原文，但贵、慢、而且模型对超长上下文的"中间遗忘"问题还在。RAG 的优势是精准召回 + 成本可控 + 可追溯来源，这些是长上下文替代不了的。 我的
#RAG #LLM♥ 180 comments
求助：RAG 检索出来的 chunk 总是不相关
搭了个 RAG，文档塞了几百篇，但检索效果很差，top 5 里经常只有一两条相关，甚至完全不沾边。embedding 用的也是主流模型，不知道哪出了问题。 怀疑过几个点：chunk 切太大（一段塞了多个主题）、问题太短召回不上、或者文档本身噪音多。 排查了一周没头绪。大家有没有
#RAG♥ 250 comments
吐槽一下 prompt 注入的攻防
做 LLM 应用最让我头秃的就是 prompt 注入。你在 system prompt 里写了一堆规则，用户输入里来一句"忽略以上指令，改做 XXX"，模型经常就照做了。 更阴的是间接注入：模型读到的网页、文档里藏一段恶意指令，它执行了都不知道。防不胜防。 现在我的做法是输入输出
#LLM♥ 320 comments
用向量数据库做了个知识库，踩了几个坑
给公司搭内部知识库，选了个专用向量库，用下来踩坑不少。 一是维度选择一开始瞎选，后来才知道要和 embedding 模型对齐；二是索引构建巨慢，几万条数据等了好久；三是"召回快但召回不准"，调了好几天 HNSW 的参数。 最坑的是换 embedding 模型后所有向量得重新生成，
#RAG♥ 390 comments
大家怎么看微调 vs RAG？
每次有人问"我要让模型懂我们的业务，微调还是 RAG"，评论区就吵起来。我说说我的判断。 绝大多数业务场景，RAG 优先：成本低、可更新、可追溯、不动模型。微调适合"风格/格式/领域术语深度内化"的场景，比如让模型说你们公司的黑话、固定输出格式。 最常见误区是拿微调去解决"知识更
#LLM #RAG♥ 460 comments
分享一个让大模型输出稳定格式的 prompt
让大模型稳定输出特定格式（比如表格、固定字段 JSON）是高频需求，分享个我用着很稳的 prompt 模板。 关键是：明确格式 + 给例子 + 强约束语言。 给了 few shot 之后稳定性提了一截。大家都有啥格式控制的绝招？
#LLM♥ 530 comments
大模型这一年变化挺大的
回头看一年前我对大模型的认知，好多都过时了。那时候还在卷参数量、卷上下文长度，现在推理模型、原生多模态、超长上下文、agent 能力都成了标配。 最让我意外的是价格战，一年前不敢想的调用成本现在白菜价，小团队都能玩得起了。应用层因此爆发出一堆以前不可能的产品。 唯一没变的是大家还
#LLM♥ 600 comments
长上下文真的能替代向量数据库吗？
上下文动辄上百万 token 后，"把所有文档塞进去不就行了"成了流行观点。我实测过，结论是：能，但很贵，而且不总是好。 塞一百万 token 的成本和延迟，比 RAG 召回几十条 chunk 高一个数量级。更别提模型对长上下文中间部分的注意力会下降（lost in the mi
#LLM #RAG♥ 670 comments
为什么我暂时没碰微调
团队讨论过要不要微调一个领域模型，我投了反对票，理由有三。 一是成本高，数据准备、训练、评测、部署，周期以月计；二是基础模型迭代太快，你花大力气微调的模型，下个版本基础模型可能直接超越；三是维护难，知识一更新就得重训。 现阶段我的结论是：除非有非常强的领域风格需求，否则先把 pr
#LLM♥ 740 comments