视频多模态推理的帧采样：时间戳、场景覆盖与时序一致性

“每隔 30 帧取一张”只在约 30 fps、帧率固定且时间戳正常时才近似每秒一帧。手机录屏、监控拼接和网络转码常是变帧率，必须按 PTS 时间戳采样；帧号间距相同却对应不同时间。只取关键帧又会偏向编码器的压缩位置，而不是业务事件。

本篇不重复 多模态 Vision 应用 的图片问答，而是把视频转成带时间证据的有限帧集合。长视频若直接塞满上下文也会挤占文字和输出预算，长上下文与 RAG 取舍 中“先定位、再读取”的原则同样适用。

先建立可信媒体时间轴

原视频只读保存，探测清单记录容器、stream index、time base、起止 PTS、平均与真实帧率、持续时间、旋转、分辨率、音轨和解码器版本。持续时间不能只信容器 header；负时间戳、倒退、巨大间隙和音画长度不一致都要显式标记。超过策略范围时拒绝或转离线修复，不能静默把错误时间轴当正常视频。

# 仅在 manifest 指定的 digest 镜像中运行；runner 另有限 CPU/内存、30s wall 和 256MiB 临时盘。
MAX_FRAMES=96
ffmpeg -version > toolchain.txt
timeout --signal=TERM --kill-after=5s 30s \
ffprobe -v error -show_format -show_streams \
  -of json input.mp4 > media.json
timeout --signal=TERM --kill-after=5s 30s \
ffprobe -v error -select_streams v:0 -read_intervals '%+120' -show_frames \
  -show_entries frame=stream_index,best_effort_timestamp_time,key_frame \
  -of json input.mp4 > video-timeline.json

timeout --signal=TERM --kill-after=5s 30s \
ffmpeg -t 120 -i input.mp4 \
  -vf "select='gt(scene,0.35)',scale=1280:-2" \
  -fps_mode vfr -frames:v "$MAX_FRAMES" scene-%06d.png

命令只在上述受控离线 runner 中执行，不能放到上传请求进程；timeout 是 GNU/Linux 边界，CPU/内存和临时盘由 runner 强制。-read_intervals、-t 和 -frames:v 96 分别限制探测媒体区间、解码区间和 PNG 数，生产合并基线/场景/事件候选后也必须在写盘前确定性截到 96 帧。实际任务不靠文件序号恢复时间，而保留原始 PTS、规范毫秒和 hash。运行报告记录镜像 digest、ffmpeg -version 与命令 hash；旋转与色彩先按 多模态输入规范化契约 统一。

分层采样比单一 FPS 更可靠

第一层按时间均匀铺底，例如每两秒一帧，确保完整持续时间都有覆盖。第二层增加场景变化点，但场景阈值只能提供候选：闪光、字幕和镜头抖动会制造假切换，缓慢移动又可能没有高分。第三层根据业务信号在局部加密，例如 ASR 关键词、操作日志、镜头检测或首轮模型指出的区间前后各补若干帧。

每个请求设置总帧、每分钟、单场景和局部加密上限。候选超过预算时先保留开头、结尾、均匀基线和高优先事件，再按确定性分数排序；不要随机截断。重复帧用感知 hash 辅助降重，但不能把字幕变化很小的连续帧误合并，因为一个数字改变可能正是任务目标。

sampler: temporal-v5
runtimeImage: registry.example/media-tools@sha256:6d2f...
ffmpegVersion: 7.1.1
baselineIntervalMs: 2000
sceneThreshold: 0.35
eventWindowMs: 3000
eventIntervalMs: 250
maxFrames: 96
maxFramesPerScene: 12
timestampRoundingMs: 1

模型输入按时间升序，帧前附稳定 frame_id 与时间戳，禁止依赖上传数组的偶然顺序。多段视频还要包含 segment ID 和原时间范围。若模型 API 会自行抽帧，记录供应商策略或把视频转成显式帧输入；否则无法解释同一文件为何两次选择不同证据。

音频与画面必须共享对齐基准

ASR 片段使用与视频相同的规范时间轴，记录词或句子的起止时间、ASR 版本和修订状态。不要把完整转录放在帧列表前而不带时间，模型可能把后半段的话归给前半段画面。出现音画偏移时，先标记不确定区间或修复时间线，不用模型猜补。

时序问题的断言与静态图不同。评测样本应包含事件是否发生、先后关系、持续时间范围、人物或对象状态变化，以及证据帧区间。关键短事件单独切片，计算事件召回、时间边界误差和顺序准确率；开放描述再做盲审。离线大批量抽帧可放入 LLM 批量推理，但每个任务仍绑定 sampler digest。

用可控缺陷校准再灰度

黄金集覆盖恒定/变帧率、重复帧、短闪事件、缓慢场景变化、字幕更新、旋转、损坏 PTS、静音和音画偏移。故意删除一个关键采样点、打乱两帧、移动 ASR 时间戳，确认相应断言必定失败。门禁可要求高风险短事件召回 100%，顺序准确率不下降，平均帧数和视觉 token 在预算内，任何时间轴错误都不得进入在线模型。

新策略先对同一原始 hash 双跑，比较帧 ID、时间覆盖、任务质量、抽帧 CPU 和视觉成本。按视频类型切 5%、25%、100%，不把监控短片与长会议混成一个平均值。发布过程可复用 模型服务金丝雀发布 的停止门。

若短事件召回下降、帧预算溢出、音画对齐异常或供应商成本偏离，立即把 sampler 别名恢复旧 digest。缓存键包含原视频、规范化、采样和模型版本；回滚后不读取新帧清单。在途任务按已绑定策略完成或整体重排，不能半段用旧采样、半段用新采样。

视频采样的目标不是挑出“最好看的截图”，而是在有限预算中保留时间覆盖、关键变化和可核验顺序。只有帧与原时间轴之间的映射可重建，模型结论才有可复盘的证据。

延伸阅读

• 多模态 Vision 应用
• 多模态输入规范化契约
• 长上下文与 RAG 取舍
• LLM 批量推理
• 模型服务金丝雀发布