LLM 网关路由策略：按能力、风险与预算分流，而不是随机挑模型

同一套 AI 产品接入多个模型后，团队很容易把“路由”简化成按权重轮询：七成请求送主模型，三成送便宜模型，主模型报错就自动换下一个。这个方案能通过演示，却会在生产中把受监管数据送错区域、让需要工具调用的请求落到不支持结构化输出的模型，或者在上游超时后重复执行已经产生副作用的动作。LLM 网关的核心职责不是挑一个可用地址，而是在请求进入推理基础设施前执行一份可审计的策略决策。

一条完整的路由决策至少要读取五类事实：请求需要的能力、数据和租户边界、任务风险、端到端延迟预算、剩余成本预算。模型目录则提供上下文上限、工具调用与多模态能力、部署区域、价格、发布版本、并发余量和当前健康状态。只有满足硬约束的后端才能进入候选集合；权重、价格和实时负载只能在候选集合内部排序，不能覆盖合规与能力限制。

先把硬约束与优化目标分开

硬约束适合由确定性代码执行。例如请求包含欧盟租户的私有文档，就只能进入获准区域；任务要求 JSON Schema 严格输出，就排除不支持该能力的版本；高风险写操作必须使用经过指定评估门槛的模型。任何候选都不满足时，网关应返回明确的策略拒绝或要求缩小任务，而不是偷偷放宽限制。

优化目标用于在合法候选之间选择。交互式补全可以优先首 token 延迟，后台摘要优先单位 token 成本，复杂代码审查优先质量分。可以将评分写成 qualityWeight * evalScore - latencyPenalty - costPenalty - saturationPenalty，但每个输入都要有版本和采集时间。不要让一个模型根据自然语言提示自行决定路由，因为它无法可靠获知实时容量，也很难说明为什么某个租户被送往某个供应商。

路由配置应像代码一样评审并版本化：

policy: interactive-code-v4
match:
  task: code_completion
  dataRegion: eu
require:
  toolCalling: true
  approvedRegions: [eu-west]
  minimumEvalScore: 0.86
optimize:
  firstTokenP95Ms: 900
  maxEstimatedCostUsd: 0.04
fallback: [same-model-other-zone, approved-secondary-model]

估算成本时要在调用前根据输入 token、保留输出上限和缓存命中进行保守计算，并在流式返回期间更新实际值。相关的预算设计可以结合 Token 成本优化 与 LLM 限流和配额，避免只在月末账单出现后才发现策略失效。

健康状态不能只看 HTTP 200

模型端点存活不等于适合接流量。网关需要区分网络可达、排队饱和、首 token 超时、输出错误率、结构化结果合规率和内容安全异常。健康评分应按模型版本与区域隔离，使用短窗口发现故障、长窗口抑制抖动；熔断后还要通过少量探测请求恢复，不能到冷却时间就瞬间放回全部流量。

重试与 fallback 必须理解请求语义。纯文本生成在尚未返回 token 时可以换后端，已经流式输出后再切换会产生拼接答案；带工具副作用的请求可能已经创建工单或发起付款，不能因上游响应丢失而盲目重放。网关应传递幂等键、记录调用阶段，并为“可重试”“只可同版本重试”“禁止重试”建立显式分类。多模型故障转移 可以作为故障树的基础，但降级模型仍要重新经过能力与数据边界检查。

灰度发布路由规则本身

策略变更会同时影响质量、成本与容量，应先用历史脱敏请求离线回放，比较新旧策略的候选集合和拒绝原因；再进入影子模式，只计算新决策而不真正切流。确认没有跨区域、能力缺失和预算越界后，按内部租户、低风险任务、百分比流量逐级放量。

每次决策至少记录 requestClass、tenantIdHash、policyVersion、候选及排除原因、最终后端、模型版本、预算估算、fallback 次数和结束状态。不要默认记录完整提示词。仪表盘同时展示路由命中率、策略拒绝率、各后端 P95 排队与首 token 延迟、每任务成本、质量抽检以及熔断次数。观测字段设计可参考 LLM 可观测性，流量分配方法则可借鉴 负载均衡策略，但不能照搬只面向无状态 HTTP 服务的最少连接算法。

回滚条件需要在发布前写死：跨区域或越权路由出现一次立即回滚；关键任务评估下降超过阈值、策略拒绝率异常升高、P95 延迟或单任务成本连续越界则暂停放量。回滚只切换策略版本，不删除新版本决策日志，便于比较是配置错误、模型健康数据滞后，还是容量估计不准。

用失败演练验收策略

上线前主动模拟主供应商 429、单区域断网、模型能力目录配置错误、成本价格缺失、流式中途断开和健康探针误报。逐项确认请求是否进入预期后端、是否保留租户与区域约束、禁止重试的任务是否被重复执行、调用方是否收到可解释错误。再验证配置中心不可用时网关使用最后一份已签名策略，而不是接受空配置或默认放行。

成熟的 LLM 网关会把路由视为平台控制面：数据面只执行已验证策略，控制面负责目录、指标、灰度和审计。这样模型增加、价格变化或区域故障时，团队调整的是一套有边界的决策系统，而不是在事故现场临时修改权重。

延伸阅读

• 多模型故障转移
• LLM 限流与配额设计
• LLM 可观测性
• 负载均衡策略