视觉模型分辨率预算：用任务收益控制像素、切片与推理成本

一张 300 KB 的 JPEG 解码后可以有两千万像素，一张 2 MB 的扫描件也可能只需读取页眉。视觉推理成本取决于模型的 resize、patch 或 tile 规则、多图数量和输出任务，不由压缩文件字节直接决定。把所有图片统一缩到 1024 像素看似可控，却可能让发票小字和密集图例消失；始终传原图则会让延迟与账单随手机镜头像素升级而上涨。

多模态 Vision 应用 已介绍视觉能力与通用预处理，本篇把分辨率变成一项可测量的服务契约：每种任务需要多少视觉信息、到哪一档收益停止、超预算时如何降级。

先记录模型真正消费的输入

所有图片先经过版本化规范化，再记录原尺寸、规范尺寸、裁剪框、缩放算法、tile 数、模型报告的输入 token 和供应商计费单位。不能只保存调用前的宽高，因为托管 API 可能再次缩放，自部署 image processor 也会按 shortest edge、crop size 或 patch size 改变输入。

policy: invoice-read-v4
modelDigest: sha256:71e9...
runtimeImage: registry.example/vision-serving@sha256:19ba...
transformersVersion: 4.55.4
vllmVersion: 0.9.2
processorConfigSha256: 60a1...
providerApiContractSha256: d338...
tiers:
  preview: {longEdge: 768, maxImages: 4}
  standard: {longEdge: 1536, maxImages: 8}
  detailCrop: {width: 1024, height: 1024, maxCrops: 3}
limits:
  maxDecodedPixels: 40000000
  maxVisionTokens: 12000
  maxCostUsd: 0.08
  deadlineMs: 8000

策略绑定模型、processor、Transformers、vLLM 和不可变运行镜像。同名模型的 tile 规则改变后，旧的“1536 足够”结论自动过期。托管 API 没有不可变版本时，保存请求 schema hash、解析出的实际模型 ID 和黄金响应契约；自部署链路记录 processor 配置，多模态占位符数量与图片列表不一致时在准入层拒绝。

分辨率由任务最小可见特征决定

先按任务建立分层回放集：粗粒度分类、自然场景问答、UI 截图、图表、手写、密集小字、旋转文档和多图对比。对每张原图生成若干固定档位，在同一 prompt、模型与解码参数下比较任务指标。重点不是追求最高分辨率，而是找到质量曲线的拐点。

例如普通场景描述从长边 768 提升到 1536 可能没有收益，发票税号却在 1536 才可辨。门禁可要求关键字段准确率相对原图下降不超过 0.5 个百分点，拒答率不增加，同时视觉 token 至少下降 25%。全局平均会掩盖小字切片，任何高风险字段都应单独设零容忍或人工复核。

小目标任务优先使用两阶段读取：低分辨率预览先定位候选区域，再从规范原图裁出有限个细节块。裁剪坐标、padding、来源 hash 和顺序写入请求清单，禁止模型自由请求无限切片。OCR 能确定读取的文本时，先用专用 OCR 再让模型做语义，通常比反复放大整页更稳定。

同时预算质量、延迟与容量

每个档位用真实长宽比、图片数量和并发回放，测预处理 CPU、上传字节、首 token、完成延迟、视觉 token、GPU 显存、最大稳定并发和单位任务成本。视觉 encoder 的工作可能在 prefill 集中爆发，不能用纯文本 tokens/s 外推。GPU 推理容量规划 的模型矩阵需要增加分辨率、tile 和每请求图片数。

预算按任务而非用户任意参数执行。请求进入时，服务端根据解码后像素、候选档位和剩余时间估算成本；超过硬上限就拒绝、要求减少图片或进入离线队列，不能静默缩图后返回看似确定的错误答案。低风险场景可回退 preview，高风险文档只能转人工或明确提示无法读取。

在指标中使用有限 task_family、resolution_tier、model_version 和 outcome，原始尺寸放直方图，不把图片 hash 当标签。看板同时显示每档质量、P95 延迟、视觉 token、拒绝和 detail-crop 触发率。Token 成本优化 可提供总账方法，AI 成本归因 则把多图请求归到具体产品。

用扰动和峰值证明预算没有作弊

验收除了固定图，还要覆盖 JPEG 质量、PNG、不同长宽比、EXIF 方向、轻微模糊、暗光和超长截图。同一语义内容在允许的格式变化下应落入同一档位；策略不能依赖上传文件字节或客户端自报尺寸。故意提交一张小文件巨像素和十六张合法图片，确认在模型调用前被预算挡住。

发布时先影子计算新旧档位，不复制含敏感内容到额外供应商。比较质量差异、实际供应商用量和错误归类，再按任务族切 5%、20%、50%。上线门可规定：核心切片不退化、P95 首 token 不增加、每成功任务成本下降达到目标、超限请求全部有明确结果。

任一高风险字段退化、detail crop 暴增、供应商计费偏离估算超过 10%，或 GPU 排队连续越线，就把策略别名恢复旧 digest。缓存键必须含分辨率策略和模型版本，回滚时禁止读取新策略的视觉特征缓存。模型服务金丝雀发布 控制流量阶段，分辨率门禁决定每阶段是否真的值得推进。

好的分辨率预算不会承诺“一律 1024 最优”，而是用任务切片证明每一档保留了什么、节省了多少，并在细节不足时选择可解释的拒绝或升级路径。

延伸阅读

• 多模态 Vision 应用
• GPU 推理容量规划
• Token 成本优化
• AI 成本归因
• 模型服务金丝雀发布