AI 产品的 token 成本控制：缓存、路由、量化

AI 产品有个传统软件没有的毛病：用户用得越多，你亏得越多。每一次调用都烧 token，而且用量悄悄涨——加了个 CoT、多召回了几条上下文、模型多绕了一轮，账单就上去了。不少团队上线后才发现：毛利被 token 成本吃光了。

成本控制不是"等贵了再砍"，而是从架构期就该埋进去的事。五个杠杆，按 ROI 排序。

一、Prompt Caching：省最多、改动最小

现代主流模型（Claude、Gemini、GPT 系）都支持 prompt caching：把长且稳定的前缀（system prompt、长文档、few-shot 示例）缓存住，后续请求命中时这部分按大幅折扣计费（Claude 低至 1/10）。

适用条件：

• 前缀稳定——每次请求的前 N token 必须完全相同。
• 量足够大——缓存有有效期（几分钟到几小时），要频繁命中才划算。

落地几乎零成本：把 system prompt + 不变上下文放在最前面，模型 API 自动识别可缓存前缀。对"固定系统 prompt + 多轮对话"的客服/助手类应用，这一招往往直接砍掉 50%+ 的输入 token 成本。

这是降本第一优先级，改动小、收益大。

二、模型路由：用合适的模型，而不是最强的模型

很多应用的默认错误是"全程用最贵的大模型"。其实请求里大部分是简单活——格式转换、分类、路由判断、简单问答——用小模型/快模型完全够，便宜 10 倍、快 10 倍。

一个典型的分层路由：

请求进来
  → 路由层（小模型/规则判断复杂度）
      ├ 简单 → Haiku/Mini/Flash（便宜快）
      └ 复杂 → Opus/Pro（贵但强）

判断复杂度的方式：

• 规则（长度、关键词、是否含代码）。
• 让小模型先看一眼，判不了的再升级。

效果：一个混合路由的系统，综合成本往往只有"全程大模型"的 1/3，而体验几乎无差。关键是别让小模型处理它搞不定的复杂请求——路由判错会牺牲质量，所以要监控路由准确率。

三、Prompt 瘦身：token 是省出来的

每一 token 都要付钱。prompt 里塞太多，既贵又稀释模型注意力。几个瘦身点：

• system prompt 去冗。很多 system prompt 堆了几千字泛泛而谈的"你是一个乐于助人的助手……"，精简到核心规则，省 token 还提专注度。
• 上下文裁剪。RAG 召回了 20 条？rerank 后只喂最相关的 4 条。对话历史用摘要 + 滑窗，别全量塞。
• few-shot 控量。3 个好例子够，别给 20 个。
• 别用自然语言写结构化数据。1000 字描述的数据，JSON 可能 200 字。

一个朴素事实：把 prompt 从 4000 token 压到 1500 token，单次省一半多，乘以日调用量就是显著数字。

四、批处理（Batch API）

如果你有大量非实时任务（夜间内容生成、批量分类、文档处理），用各家模型的 Batch API：把请求攒成一批提交，几小时内返回，价格通常对折（Anthropic / OpenAI 都有 50% 折扣的批量接口）。

代价是延迟（分钟到小时级），所以只适合不需要即时的场景。但能批的任务用批，是省一半的稳定途径。

五、结果缓存：别重复算

很多请求是重复的——同样的搜索词、同样的文档摘要、同样的 FAQ。在模型前面加一层结果缓存：

• 语义缓存：不只是精确匹配，把 query embedding，命中相似的已答问题直接返回（Redis + 向量相似度阈值）。
• 精确缓存：按业务键缓存（summarize(doc_id) 同 doc 重复请求直接返回）。

注意：缓存要用得克制——对时效性强、个性化强的请求别乱缓存，否则返回过时/错误结果。但对"高频且稳定"的请求（FAQ、热门内容摘要），缓存命中率上去，这部分成本趋近于零。

六、监控：按功能/用户拆账

没法衡量的成本没法优化。把 token 消耗按维度拆开：

• 按功能：哪个功能在烧钱？某功能占比异常高，多半是设计问题（多绕了几轮、上下文太长）。
• 按用户：发现异常用户（被滥用 / 一个用户占 50% 成本）。
• 按调用链阶段：query 改写 vs 主答 vs 自检，各花多少。

设告警：单用户日消耗超阈值、某功能成本突增、整体 token/请求 指标异常。LLM 应用的成本曲线不像传统软件那么平，一个 bug 能在几小时烧掉可观的钱——没有告警就是裸奔。

七、组合拳的一个基线

一个控本良好的 AI 应用，大致长这样：

• 稳定前缀走 prompt caching（省输入）。
• 请求走 模型路由，简单活给小模型（省单价）。
• prompt 持续 瘦身，上下文按需喂（省输入）。
• 非实时任务走 batch（省 50%）。
• 高频请求走 结果缓存（趋近零）。
• 全程 按维度监控 + 告警（防失控）。

五招叠起来，综合成本往往能压到"裸奔版"的 1/4 到 1/3，体验几乎无损。

小结

token 成本不是"等账单来了再砍"的事，而是架构的一部分。Prompt caching、模型路由、prompt 瘦身、批处理、结果缓存——五个杠杆，按 ROI 逐个落地，再用按维度拆分的监控兜底。

记住一句：AI 产品的可持续性，取决于你有没有把 token 当真实成本来设计。 那些上线后毛利健康的 AI 产品，不是模型更便宜，而是从第一天就把成本控制当一等公民来对待。