AI 应用的限流与配额设计

普通 Web 限流按"请求数/QPS"就够了。AI 应用多一个维度：token——同一个请求，生成 10 字和 1000 字成本差 100 倍。而且 AI 调用单价高，被刷一晚上账单可能很痛。所以 AI 应用的限流和配额，要单独设计。

一、两个成本维度：请求 vs token

AI 调用的成本由两件事决定：

• 请求数：占了多少并发/连接资源。
• token 量：真正的计费大头（输入 + 输出 token）。

只限请求数不够——一个用户低频但每次生成一万 token，照样烧钱。只限 token 也不够——高频小请求会打爆并发。两个都要限。

典型策略：

• 每用户每分钟请求数上限（防高频刷）。
• 每用户每天 token 上限（防单用户爆量）。
• 全局每分钟 token 上限（防整体过载，保护下游模型 API 配额）。

二、三层限流：用户 / IP / 全局

请求进来
  → [全局层]  保护整个服务(防整体打挂模型 API)
  → [IP 层]   防匿名滥用(未登录用户的刷量)
  → [用户层]  按账户配额(公平分配、付费分级)

• 全局：整个服务的并发/每分钟 token 上限。撞到就拒绝，保护下游（你的模型 API 也有速率限制，别被你自己用户打爆）。
• IP：针对未登录/匿名用户。防一个人换号刷。注意大 NAT（公司/学校出口）会误伤，IP 限流阈值别设太低。
• 用户：按账户。这是配额的核心——按订阅档位分配（免费用户每天 100 次 / Pro 1000 次 / Enterprise 无限）。

三、token 配额怎么计量

token 计量比请求计数复杂，因为输出 token 请求时不知道（生成前不确定多长）。两种做法：

1. 预扣 + 结算。 请求时按"预估最大输出"预扣额度（如 input_tokens + max_tokens），生成完按实际用量结算退回多余。好处：能在生成前拒绝超额；坏处：预扣偏保守，用户体感配额"变小"。

2. 事后计量 + 软限。 不预扣，生成完记实际 token，超限了下次请求拒绝（或降级）。实现简单，但允许偶发超额。

生产里常用**预扣（防超额）+ 事后精确记账（对账）**的组合。

实现上，token 计数存 Redis（按 user_id + 日期聚合），实时 incr。请求前 check、请求后 settle。

四、超限的优雅降级

限流不是"超了就 429 报错"那么粗暴。好的做法是分级降级：

• 接近上限：提示用户"今日额度将用完"，让 ta 有预期。
• 超限：不要硬 500，给清晰的"已达上限，几点重置 / 升级订阅 / 等待"。
• 可选降级：超额时自动切到更便宜的模型/更短输出/关闭非核心功能，而不是完全拒绝。比如 Pro 用户超了，降到小模型继续用，而不是停服。

降级体验 > 硬切断。用户宁愿"慢一点/简陋一点继续用"，也不愿"直接不能用"。

五、防刷：识别和应对

AI 应用是刷量/滥用的重灾区：

• 并发刷：一个用户开 100 个并发请求。→ 每用户并发上限。
• 换号刷：免费额度用完注册新号。→ 设备指纹 + 注册门槛（邮箱/手机验证）+ IP 关联检测。
• 脚本批量：高频规律请求。→ 请求频率异常检测 + 验证码/人机校验。
• prompt 炸弹：超长输入塞满上下文。→ 输入长度上限（不只在模型层，限流层先挡）。

没有银弹，但"分层限流 + 异常检测 + 注册门槛"组合，能把 90% 的滥用挡住。剩下的用成本监控告警兜底（某用户 token 异常飙升 → 人工/自动冻结）。

六、配额与商业模型对齐

配额本质是商业设计——它定义了"免费能做什么、付费多得到什么"。设计要点：

• 免费档给真体验，不给"残废"。让免费用户能感受到价值（够用几次完整功能），而不是"每次都半残"——后者转化率极低。
• 付费档按价值分级。Pro 解锁更高额度/更强模型/优先级，Enterprise 给配额 API + SLA。
• 超额选项。超了别只说"升级"，给"买加油包""等明天""看广告换额度"等多种选项，转化率更高。

七、技术实现要点

• 存 Redis（快、原子 incr）。限流判定要毫秒级，别走数据库。
• 滑窗 vs 固定窗。固定窗（每分钟重置）有边界突刺（59 秒和 01 秒各打满 = 2 倍），滑窗更平滑但实现稍复杂。生产用滑窗（或滑窗 + 固定窗组合）。
• 限流中间件统一。在网关/中间件层统一判定，别散在各路由（漏一处就破防）。
• 可观测。限流命中次数、超限用户数、降级触发次数都要监控——这些是产品健康和商业指标。

小结

AI 应用的限流配额，比普通 Web 多一个 token 维度、多一份"被刷就烧钱"的风险。核心做法：

• 双维度限（请求数 + token），三层（全局/IP/用户）。
• token 预扣 + 结算，防超额。
• 超限优雅降级（切小模型/缩短/提示），别硬切断。
• 防刷组合拳（并发/换号/脚本/超长输入）+ 成本告警兜底。
• 配额对齐商业，免费给体验、付费给价值。

把这套做扎实，你的 AI 应用才敢放开给用户用——否则要么"限太死没人用"，要么"不限被刷破产"。限流配额不是"上线后再加"的事，它直接关系到成本和商业，是架构的一部分。