每次有人问"我要让模型懂我们的业务,微调还是 RAG",评论区就吵起来。我说说我的判断。
绝大多数业务场景,RAG 优先:成本低、可更新、可追溯、不动模型。微调适合"风格/格式/领域术语深度内化"的场景,比如让模型说你们公司的黑话、固定输出格式。
最常见误区是拿微调去解决"知识更新"问题,结果数据一变就得重训,又贵又慢。大家怎么看这俩的取舍?
每次有人问"我要让模型懂我们的业务,微调还是 RAG",评论区就吵起来。我说说我的判断。
绝大多数业务场景,RAG 优先:成本低、可更新、可追溯、不动模型。微调适合"风格/格式/领域术语深度内化"的场景,比如让模型说你们公司的黑话、固定输出格式。
最常见误区是拿微调去解决"知识更新"问题,结果数据一变就得重训,又贵又慢。大家怎么看这俩的取舍?
暂时没有回复。
Related
讨论
做了个小工具:把内部文档向量化存好,然后用一个 MCP server 暴露"检索文档"这个工具给 Agent。Agent 回答问题时会自动调这个工具查文档,效果比纯 RAG 好。 原因是 Agent 能判断"要不要查""查什么""查到的够不够",而不是无脑检索拼接。相当于 RAG
讨论
这里说的"家教"是给 Agent 选底层模型。我用过几家之后的感觉:推理能力强的模型适合做规划和复杂判断,但贵且慢;小模型适合做工具调用和简单路由,便宜快但容易出错。 我现在用混合:主推理用强模型,工具调用和短对话用小模型,按任务难度路由。 选型这事没有标准答案,得拿你自己的任务
讨论
我做应用基本离不开 API 调用了,以前是某一家死忠,最近半年纷纷转向多供应商。原因一是价格战打起来,二是各家各有擅长,三是怕单一供应商出故障全盘崩。 我现在主力推理用一家,工具调用用另一家,便宜路由用开源小模型,靠一个统一网关切换。 缺点是不同模型行为差异大,prompt 经常
讨论
每次看到"上下文又翻倍"的新闻,都有人喊"RAG 要死了"。但我学了一阵子 RAG 之后觉得,这说法太夸张。 长上下文确实能塞下更多原文,但贵、慢、而且模型对超长上下文的"中间遗忘"问题还在。RAG 的优势是精准召回 + 成本可控 + 可追溯来源,这些是长上下文替代不了的。 我的