多模态输入规范化契约：把不可信文件变成可复现模型输入

文件通过扩展名和大小检查，只能说明上传入口接受了它，不能说明模型看到的内容确定。同一张手机照片可能带 EXIF 旋转、Display P3 色彩、透明层和超大像素尺寸；动图首帧可能无害，后续帧才含正文；音频容器声明 48 kHz，解码后时间轴却不连续。若每个 worker 直接调用各自版本的库，缓存、评测和事故回放面对的就不是同一输入。

Next.js AI 文件上传安全流水线 处理入口隔离、扫描和权限，本契约从隔离对象开始，规定什么制品才允许进入模型。基础的视觉产品选型见 多模态 Vision 应用，这里不讨论“模型能看什么”，只讨论“模型究竟收到了什么”。

原始对象与规范对象分开保存

原始上传一经接收便只读，记录 rawSha256、字节数、上传声明类型、服务端探测类型、对象版本、租户与到期时间。后续任务不覆盖原对象，而是由固定镜像生成规范对象和清单。缓存键至少包含 rawSha256 + normalizerVersion + policyVersion；仅用文件名或 URL 会让同名替换和策略升级命中旧结果。

normalizerVersion: media-normalizer-3.4.1
runtimeImage: registry.example/media-normalizer@sha256:31c9...
input:
  rawSha256: 89b8...
  declaredType: image/jpeg
limits:
  maxBytes: 20971520
  maxPixels: 40000000
  maxFrames: 120
output:
  format: image/png
  colorSpace: srgb
  orientation: applied
  width: 1600
  height: 1200
  canonicalSha256: 2aa7...

声明类型、扩展名和 magic bytes 三者不一致时默认拒绝或进入人工分析，不能让客户端 Content-Type 决定解码器。归档包、SVG、PDF 和办公文档不伪装成普通图像处理；每种复杂格式走独立沙箱和页数、嵌套、外链策略。运行镜像 digest 固定 Pillow、ImageMagick 及系统 codec，报告同时保存实际包版本；制品来源、解码器和策略版本也应纳入 AI 供应链安全 的物料清单。

解码本身就是不可信计算

解码器进程使用只读输入、空临时目录、无网络、非 root 用户、CPU/内存/执行时间和输出字节硬限额。先读头部尺寸，再在分配完整像素前计算 width × height × channels × frames 的上界；压缩后只有几 MB 的图片，解码后仍可能占数 GB。库发出 decompression-bomb 警告时必须失败，不能为了兼容批量关闭。

图像规范化按固定顺序执行：完整解码、应用方向、合成或拒绝透明层、转换到 sRGB、去除未批准元数据、按确定算法缩放，再编码为有限格式。顺序不可交换，例如先缩放再应用方向会改变尺寸判断。动图根据业务契约选择拒绝、保留受限帧或显式抽帧，绝不能静默只取第零帧。

音频清单记录实际采样率、声道、sample format、持续时间和时间戳连续性；目标链路需要时再重采样到固定格式，并保留算法版本。视频先探测容器与每条 stream，限制持续时间、分辨率、帧率、轨道数和字幕附件；此处只产出可信时间轴，具体抽帧由独立版本策略完成。

用黄金文件证明确定性与拒绝边界

测试集同时包含正常样本和恶意边界：错误扩展名、截断 JPEG、巨大尺寸、小体积多帧 GIF、奇异 ICC、EXIF 旋转、透明图、变帧率视频、损坏时间戳、静音与多声道音频。每个批准样本保存规范清单和输出 hash，每个拒绝样本保存稳定错误类别；在 x86 与 ARM worker 上运行后，允许的差异必须事先声明。

发布门可规定：全部高风险拒绝样本通过；黄金规范清单 100% 一致；重复执行输出 hash 相同；单文件 CPU、内存和输出大小不越界；错误不得回显原始路径或媒体内容。只比较“模型最终回答相似”太晚，规范层必须先证明输入本身可解释。

日志只记录摘要、策略、尺寸和错误枚举，不记录用户媒体或可公开访问的对象 URL。规范对象继承原对象租户、权限和删除期限；脱敏、区域与供应商发送边界继续遵循 AI 应用数据隐私与合规。

灰度时双跑，不双写事实

升级解码库或规范策略时，对脱敏黄金集和少量获准生产样本运行旧版 A、新版 B，比较清单、感知差异、下游 token、任务质量和资源消耗。先保持 A 为事实输出，B 只写隔离诊断；差异经过分类后再按媒体类型切 5%、25%、100%。

若拒绝率异常、像素差异越线、下游质量下降或资源 P95 超预算，路由立即恢复旧镜像与旧 policy digest。新策略生成的缓存命名空间停止读取但保留诊断，不能让旧 worker 消费新规范对象。回滚成功要验证新任务重新得到 A 的 canonicalSha256，队列中在途任务按其已绑定版本完成或重排。

规范化契约的产物不是“一张处理过的图”，而是原始事实、受限转换、确定输出、权限继承和可执行版本恢复组成的证据链。只有这条链稳定，后面的成本优化与质量评测才比较的是同一个输入。

延伸阅读

• Next.js AI 文件上传安全流水线
• 多模态 Vision 应用
• AI 供应链安全
• AI 应用数据隐私与合规