你现在主力调哪家的大模型 API？
我做应用基本离不开 API 调用了，以前是某一家死忠，最近半年纷纷转向多供应商。原因一是价格战打起来，二是各家各有擅长，三是怕单一供应商出故障全盘崩。 我现在主力推理用一家，工具调用用另一家，便宜路由用开源小模型，靠一个统一网关切换。 缺点是不同模型行为差异大，prompt 经常
#大模型♥ 110 评论
#大模型
专题介绍
这里聚合 CodeNodeX AI 社区中与 大模型 相关的技术文章和讨论，覆盖概念解释、工具对比、工程实践、常见问题和独立开发经验。
如果你正在研究 大模型，建议先阅读高质量长文，再参与帖子讨论，形成从理解到实践的完整路径。
RAG 值得学吗？长上下文会不会把它淘汰
每次看到"上下文又翻倍"的新闻，都有人喊"RAG 要死了"。但我学了一阵子 RAG 之后觉得，这说法太夸张。 长上下文确实能塞下更多原文，但贵、慢、而且模型对超长上下文的"中间遗忘"问题还在。RAG 的优势是精准召回 + 成本可控 + 可追溯来源，这些是长上下文替代不了的。 我的
#RAG #大模型♥ 180 评论
吐槽一下 prompt 注入的攻防
做 LLM 应用最让我头秃的就是 prompt 注入。你在 system prompt 里写了一堆规则，用户输入里来一句"忽略以上指令，改做 XXX"，模型经常就照做了。 更阴的是间接注入：模型读到的网页、文档里藏一段恶意指令，它执行了都不知道。防不胜防。 现在我的做法是输入输出
#大模型♥ 320 评论
大家怎么看微调 vs RAG？
每次有人问"我要让模型懂我们的业务，微调还是 RAG"，评论区就吵起来。我说说我的判断。 绝大多数业务场景，RAG 优先：成本低、可更新、可追溯、不动模型。微调适合"风格/格式/领域术语深度内化"的场景，比如让模型说你们公司的黑话、固定输出格式。 最常见误区是拿微调去解决"知识更
#大模型 #RAG♥ 460 评论
分享一个让大模型输出稳定格式的 prompt
让大模型稳定输出特定格式（比如表格、固定字段 JSON）是高频需求，分享个我用着很稳的 prompt 模板。 关键是：明确格式 + 给例子 + 强约束语言。 给了 few shot 之后稳定性提了一截。大家都有啥格式控制的绝招？
#大模型♥ 530 评论
大模型这一年变化挺大的
回头看一年前我对大模型的认知，好多都过时了。那时候还在卷参数量、卷上下文长度，现在推理模型、原生多模态、超长上下文、agent 能力都成了标配。 最让我意外的是价格战，一年前不敢想的调用成本现在白菜价，小团队都能玩得起了。应用层因此爆发出一堆以前不可能的产品。 唯一没变的是大家还
#大模型♥ 600 评论
长上下文真的能替代向量数据库吗？
上下文动辄上百万 token 后，"把所有文档塞进去不就行了"成了流行观点。我实测过，结论是：能，但很贵，而且不总是好。 塞一百万 token 的成本和延迟，比 RAG 召回几十条 chunk 高一个数量级。更别提模型对长上下文中间部分的注意力会下降（lost in the mi
#大模型 #RAG♥ 670 评论
为什么我暂时没碰微调
团队讨论过要不要微调一个领域模型，我投了反对票，理由有三。 一是成本高，数据准备、训练、评测、部署，周期以月计；二是基础模型迭代太快，你花大力气微调的模型，下个版本基础模型可能直接超越；三是维护难，知识一更新就得重训。 现阶段我的结论是：除非有非常强的领域风格需求，否则先把 pr
#大模型♥ 740 评论
Prompt engineering 入门：少即是多
看过太多新手写 prompt 像写论文，恨不得把所有约束堆进去，结果模型反而犯晕。我的经验是：少即是多。 核心三件套就够：角色（你是谁）、任务（做什么）、约束（怎么做）。其余的能省则省，模型比你想象的聪明。约束堆太多反而互相打架，模型不知道听哪条。 调不通的时候，先试着删几条 p
#大模型♥ 810 评论
求助：大模型 API 的费用怎么降
应用流量涨上来之后，API 费用成了大头，老板让我压一压。目前已经做了：缓存高频查询、短任务切小模型、prompt 精简。 还想再降，但找不到方向了。听说有人用蒸馏、有人自部署开源模型、有人做多供应商竞价路由。 想问问大家都用啥招压成本，哪个效果最明显？有没有什么坑要注意的？谢了
#大模型♥ 950 评论
吐槽：开源模型和闭源模型差距又拉开了
每次以为开源快追上了，闭源一个新版本又把差距拉开。推理能力、长任务稳定性、agent 能力，开源暂时还是跟不上头部闭源。 不是说开源没用，自部署、隐私、成本这些场景开源还是香。但在"最强能力"这条线上，闭源目前确实领先。 希望开源继续发力追上。大家日常用开源多还是闭源多？觉得差距
#大模型 #开源♥ 60 评论
大家怎么看多模态模型写代码？
现在多模态模型能看图了，有人试过给它截图让它写代码。我体验下来，简单 UI 还原确实能写个七八分，复杂布局就各种走样。 最实用的是"看设计稿写前端"，能把大致结构搭出来，省不少起步时间。但精细的交互、响应式还得人来。 不过这方向想象空间大，截图→代码、Figma→代码以后可能真成
#大模型♥ 200 评论