做 AI 产品的同学应该都懂这个痛：API 成本涨得比收入快，毛利越来越薄，眼看就要亏本，求优化经验。
我的产品用 GPT-4 处理用户请求，单次调用成本约 $0.03，日均 5000 次调用，一个月就是 $4500，而月收入才 $6000，毛利只剩 25%，还在往下掉。
目前在做和打算做的优化：
但优化空间有限，模型本身贵是硬伤。
大家是怎么压 AI 成本的？有没有什么"省了一半"的实操技巧？
暂时没有回复。
Related
讨论
社区讨论帖，欢迎分享你的经验和观点。
讨论
这里说的"家教"是给 Agent 选底层模型。我用过几家之后的感觉：推理能力强的模型适合做规划和复杂判断，但贵且慢；小模型适合做工具调用和简单路由，便宜快但容易出错。 我现在用混合：主推理用强模型，工具调用和短对话用小模型，按任务难度路由。 选型这事没有标准答案，得拿你自己的任务
讨论
我做应用基本离不开 API 调用了，以前是某一家死忠，最近半年纷纷转向多供应商。原因一是价格战打起来，二是各家各有擅长，三是怕单一供应商出故障全盘崩。 我现在主力推理用一家，工具调用用另一家，便宜路由用开源小模型，靠一个统一网关切换。 缺点是不同模型行为差异大，prompt 经常
讨论
每次看到"上下文又翻倍"的新闻，都有人喊"RAG 要死了"。但我学了一阵子 RAG 之后觉得，这说法太夸张。 长上下文确实能塞下更多原文，但贵、慢、而且模型对超长上下文的"中间遗忘"问题还在。RAG 的优势是精准召回 + 成本可控 + 可追溯来源，这些是长上下文替代不了的。 我的