跨模态质量回归门禁：对齐图像、音频、文本与任务结果

图像分类准确、ASR 字错率合格、文本答案流畅，不代表组合任务正确。会议画面显示 A 在演示，转录时间戳却偏移十秒，模型可能把 B 的发言归给 A；票据 OCR 每个字段都识别出来，版面关系错位后总额仍会对应到错误币种。跨模态系统的门禁必须验证模态之间的绑定和最终任务结果，不能把几个组件分数相加当作端到端质量。

LLM 评测框架 给出通用规则、裁判与人工层次，本篇专门补充配对、时间、空间和冲突关系。样本组织可沿用 Agent 评测数据集设计 的真实工作流切片，但每个媒体资产还需可重建的变换证据。

冻结的是资产关系，不只是文件

每条样本保存稳定 ID、原始媒体 hash、规范对象 hash、规范化/抽帧/ASR/OCR 版本、文本与媒体的时间或空间映射、任务指令、风险等级和可接受结果。大文件放受控对象库，测试仓库只保存签名清单；隐私样本使用获准脱敏替身和期限，不把生产上传直接复制进 CI。

case: incident-video-042
assets:
  video: {sha256: 8e2a..., normalizer: media-v3, sampler: temporal-v5}
  transcript: {sha256: 118c..., asr: asr-7.2, offsetMs: 240}
relations:
  - {event: switch_off, visualWindowMs: [12400, 13100], speechWindowMs: [11900, 13600]}
risk: high
required:
  eventDetected: true
  actor: operator-a
  order: [warning, switch_off]

数据版本任何一项改变，旧报告即失效。只记录模型名会把预处理漂移误判成模型回归；只保存派生帧又无法判断采样是否漏掉原事件。视频帧可追溯到 视频帧采样与时序一致性 的 PTS，图像则绑定裁剪与分辨率策略。

切片必须覆盖组合失败

基础集包含图像+问题、音频+上下文、视频+转录和多图对比；对每类再构造缺失、损坏、冲突和顺序变化。删除图片时系统应明确缺证据，而不是凭文本补画面；音频说“红色”而图像显示蓝色时，要按产品规则指出冲突；交换两帧后，事件先后断言必须失败。

按语言、口音、噪声、亮度、字号、长宽比、持续时间、设备、任务和风险分层。高风险切片采用硬门，不能被大量清晰英文图片的平均分抵消。模态缺失本身是正常输入状态，必须区分“正确降级”“错误猜测”和“系统崩溃”。

变形测试提供额外证据。对不影响语义的轻微 JPEG 压缩、音量变化、容器重封装或字幕字体变化，结果应保持在容差内；对裁掉关键区域、移动音轨、删除短事件，结果必须按预期改变。变形关系由领域 owner 批准，不能武断要求所有 resize 都不变，小字任务本来就可能依赖分辨率。

指标按任务组合，不做万能总分

确定性层先检查 schema、引用资产、时间窗、坐标范围、工具副作用与拒绝条件。组件层记录 OCR 字段、ASR WER、事件召回、时间边界误差和视觉定位；任务层判断最终字段、动作、解释和证据是否正确。开放回答采用盲评或校准裁判，并保存 evaluator 版本、顺序随机化和分歧样本。

一个发布契约可以要求：权限和安全样本 100% 通过；关键字段或事件不允许退化；主要任务成功率下降不超过 0.5 个百分点；任一核心切片下降不超过 2 个百分点；模态错配为零；P95 延迟和单位任务成本在预算内。阈值来自业务损失与历史方差，样本不足显示置信区间或阻断，不能自动判绿。

评测器也需锚点。每次升级裁判模型前，在稳定的人类标注集上比较一致率、偏差和拒判；变更期间双算新旧口径。RAG 评测漂移控制 的锚点与分布监测方法可复用，避免评分器更新制造一条虚假质量曲线。

发布单元包含整个多模态链路

候选清单绑定媒体规范化、分辨率、视频采样、ASR/OCR、Prompt、模型、工具 schema 和 evaluator。离线门通过后，对获准且脱敏的真实分布影子运行，不额外执行写工具；比较新旧证据引用、任务结果、延迟与成本。随后按任务族而非全站随机切 1%、5%、20%，每阶段满足最小样本和高峰窗口。

线上信号包括 schema 失败、用户修正、人工接管、证据打不开、模态缺失、时间错配和每成功任务成本。少量固定能力还可接入 AI 质量合成探针，但探针不能代替真实长尾。

任何跨租户证据、错误副作用或关键模态错配立即回滚；核心切片退化、延迟或成本越线则暂停并切回上一整套 manifest digest。不能只回滚模型而保留新抽帧或 ASR，因为那不是已经验证的组合。旧链路、缓存命名空间和容量在观察期保持可用，发布控制参考 模型服务金丝雀发布。

回滚后把失败资产、关系断言、两个版本输出和首个分叉阶段写入报告，敏感正文仍留在受控库。跨模态门禁的价值不是再造一个平均分，而是指出哪一种关系在哪一步被破坏，并让系统能完整返回上一组已知可靠的关系链。

延伸阅读

• LLM 评测框架
• Agent 评测数据集设计
• 视频帧采样与时序一致性
• RAG 评测漂移控制
• AI 质量合成探针
• 模型服务金丝雀发布