AI 内容审核系统设计

当模型只能回答问题时,内容风险最多是"答错了";当模型能生成图片、撰写文案、代理发布、连接工具,内容风险就变成违规、违法、伤害真实用户。内容审核不是上线后再补的安全带,而是 AI 产品能否进入生产的准入证。国内《生成式人工智能服务管理暂行办法》明确要求训练数据、生成内容、用户行为三层都要合规,这一条就把审核从"可选功能"变成了硬性义务。

一、为什么 AI 应用必须做内容审核

四条理由,按优先级排:

1. 合规底线:生成内容涉政、涉恐、涉黄、涉暴,轻则下架整改,重则吊销备案。这是生存问题。
2. 品牌信任:模型一旦输出有害内容被截图传播,品牌受损不可逆。用户不会区分"是模型说的"还是"是平台说的"。
3. 用户体验:被 prompt 注入污染的对话、被恶意用户刷屏的社区,正常用户会迅速流失。
4. 防滥用:批量生成垃圾内容、绕过配额、用 AI 生成诈骗话术或钓鱼邮件,都需要在审核层拦截。

关键认知是:审核不是单点功能,而是贯穿请求生命周期的横切关注点。它要在请求进入模型前、模型输出后、内容落库前、内容对外发布前多次触发。

二、先分清审核对象:输入、输出、UGC

很多团队只审输入,或只调一次 Moderation 就以为完事。实际上风险来自三个不同对象:

• 用户输入:直接违规请求("教我制毒")、prompt 注入、越狱(jailbreak)、伪装成正常对话逐步诱导。
• 模型输出:模型自己生成的有害内容、幻觉导致的侵权或诽谤、被注入诱导产生的违规回答。
• 用户生成的 UGC:用户用 AI 生成后再发布的内容——批量水军文案、违规图片、诈骗话术。

最容易被忽视的事实是:输入干净不代表输出干净。模型在多轮对话中可能被逐步引导到违规区,单轮检查会漏。因此输出审核必须独立做,且要结合完整对话历史。

三、多层防护架构:规则、分类模型、LLM 审查

没有任何单一手段既快又准又便宜。工业级方案是纵深防御,三层各司其职:

请求 ──► [规则层] ──► [分类模型] ──► [LLM 审查(疑难)] ──► 业务
              │            │              │
              ▼            ▼              ▼
          命中即拒     置信度判级     语义级判断
         (<1ms)       (几十 ms)      (秒级,旁路)

规则层:关键词、正则、黑名单、变体词表。延迟低于 1ms,可解释,零边际成本。缺点是粗——同音字、拆字("氵去 土拍")、Unicode 变体、谐音梗都能绕过。它的定位是第一道闸门,拦最明显的违规,把 90% 的低级攻击挡在昂贵的模型层之外。

分类模型:OpenAI Moderation API,或自训的小模型(基于 Chinese-RoBERTa、Qwen 等微调)。延迟几十毫秒,能识别仇恨、暴力、性、自伤、违法等类目并给出置信度。这是性价比最高的主力层。

LLM 审查:用更强的模型当"审查员",处理分类器拿不准的复杂场景——意图识别("如何不被发现"到底是问技术还是问犯罪)、上下文相关的判断、长文连贯性审核。它理解语义、能给出理由,但慢(秒级)、贵、自身也有漏检,只适合做疑难复议和低风险阈值下的二次确认。

一个分层调用的骨架:

async function moderate(text: string, ctx: ModerationContext) {
  // 1. 规则层:最快,命中高危直接拒
  const ruleHit = ruleEngine.match(text);
  if (ruleHit.severity === "block") return reject(ruleHit);

  // 2. 分类模型:主力判级
  const cls = await classifier.predict(text);
  if (cls.maxScore > thresholds[cls.category]) {
    // 3. 灰区交 LLM 复议,而不是直接拒
    if (cls.maxScore < hardBlockLine) {
      return await llmReview(text, ctx);
    }
    return reject(cls);
  }
  return pass();
}

四、误杀与漏检的平衡

这是审核系统真正的难点,也是区分"能用"和"好用"的分水岭。阈值调高则漏检多,调低则误杀多,两者都伤产品。

几个实战原则:

• 阈值按类目分级,不要全局统一。涉政、涉恐用低阈值(宁可误杀),辱骂、轻微擦边用高阈值(容忍一些)。
• 灰名单机制:不确定的内容不要直接拒绝,进灰名单后降级处理——限制速率、要求改写、延迟显示——给用户自我修正的机会。
• Context 感知放行:同样的"如何止痛",在医疗咨询场景合法,在毒品语境违规;"人体结构"在艺术和医学场景正常,在别的语境可能违规。实现上,把场景标签、用户画像、对话历史作为审查模型的额外输入,或维护白名单上下文。

最贵的一句话总结:审核系统最大的成本不是漏检,而是误杀带来的用户流失和品牌伤害。一个被误封的活跃用户,比十条漏过的违规内容更危险。

五、处置策略:拒绝、改写、警告、标记,别一刀切

最差的做法是命中规则一律拒绝、一律封号。正确做法是按严重程度梯度处置:

拒绝时要给用户一个合规范围内可解释的原因——"该请求涉及违禁品制作,无法处理",而不是冷冰冰的"违反社区规范"。后者只会让正常用户愤怒。

六、申诉与人工复核

被误杀的用户必须有救济通道,否则误杀就是终局伤害。

• 审核结果要可解释:记录命中哪个类目、置信度多少、触发哪条规则,复议时才有依据。
• 提供申诉入口与人工复核 SLA,高风险处置(封号、内容删除、对外发布)必须人工二次确认。
• 误杀样本回流:每一次人工改判都是一条高质量训练数据,持续修正分类器。
• 建立审核质量指标:误杀率、漏检率(靠线上抽审估计)、申诉通过率、人工改判率。

纯 AI 或纯人工都不是工业级方案,"AI 初筛 + 人工兜底"才是。AI 处理 99% 的量,人工专注处理那 1% 的疑难和所有申诉。

七、选型:OpenAI Moderation、自建、第三方

三者不是互斥,成熟团队通常是混合架构。

OpenAI Moderation:免费、快、英文场景效果好,接入只需一次 API 调用。短板是中文(尤其是国内特有的敏感词、谐音梗、网络黑话)覆盖差,且数据出境在国内合规上是个问题。适合英文产品或非关键路径的初筛。

自建分类器:可控、可针对中文和行业(比如金融、医疗)优化、数据不出境。成本来自标注数据、模型训练与维护、对抗变体词的持续更新。适合规模大、有特殊合规要求、愿意长期投入的团队。基座选 Chinese-RoBERTa、Qwen 系列做 fine-tune,通常比通用 Moderation 在中文场景准。

第三方服务(阿里云内容安全、网易易盾、腾讯天御等):国内合规首选,类目齐全、有人审兜底、按量计费、接入快。缺点是黑盒(难定制)、长期成本随量上涨、定制能力弱。

实战建议:不要把审核 all-in 在一个供应商。用第三方或官方 API 做 baseline 兜底,自建模型做特定场景加强,LLM 审查处理疑难。这样任何一条链路失效,其他层仍能托底。

小结

• 审核是横切关注点,输入、输出、UGC 三层都要覆盖,单点检查必然漏。
• 多层防护各司其职:规则快、分类器准、LLM 审查处理疑难,缺一不可。
• 误杀比漏检更伤产品,阈值分级、灰名单、context 感知放行合法语境。
• 处置梯度化,留申诉通道,人工兜底,别一刀切封号。
• 选型混合用,自建做差异化,第三方兜底合规,LLM 处理边界案例。

AI 内容审核的目标,从来不是把模型训得更听话,而是用工程化的多层防护,让有害内容在到达用户前被层层消耗——同时把正常内容干干净净地放过去。