AI 爬虫访问策略：分离搜索展示、模型使用与受控抓取

“允许 AI”不是一个足够精确的策略。站点可能愿意让公开文档进入搜索结果，却不愿让某类自动化用途覆盖全部内容；也可能需要用户发起的工具读取一个公开 URL，但不接受持续全站抓取。把所有机器人合并成 User-agent: *，会让一次商业决策意外改变搜索可见度。程序化 SEO 模板门禁 决定哪些页面值得索引，本篇决定哪些自动主体可以抓哪些公开路径。

先维护主体和用途注册表

建立 crawlerRegistry.v1，先区分 ROBOTS_PRODUCT_TOKEN 与 NETWORK_OBSERVABLE_CRAWLER。每个条目记录官方 token、声明用途、官方文档、负责人、最后复核时间和默认策略；只有厂商确实公布了请求身份时才附可选 transportIdentity、动态 IP 资料与验证方法。Google 文档把 Google-Extended 定义为独立 robots product token，但它没有独立 HTTP User-Agent 或专属 IP，因此标记为 POLICY_ONLY，不能从请求日志归因其流量。OpenAI 公布的 searchbot.json 与 gptbot.json 可作为对应网络 profile 的动态范围证据，但 IP 匹配也不能替代 robots 规则和内容授权。

策略层只使用注册表 ID，不在模板里散落厂商字符串：

policyVersion: crawler-access-2026-07
classes:
  public-search:
    allow: ["/articles/", "/docs/"]
    deny: ["/search", "/preview/"]
  model-use:
    allow: ["/docs/public/"]
    deny: ["/"]

编译器再把 class 映射为当前 product token，并生成确定性的 robots.txt。这样厂商命名或政策变化时，只更新注册表与版本，不需要人工编辑多处路径。POLICY_ONLY 条目只产生配置决策与测试证据，不生成“已验证抓取量”；可观测 crawler 才能通过 transport profile 进入请求指标。策略评审必须记录内容所有者、法律依据和预期增长影响，技术团队不能擅自把“抓得到”解释为“可用于任何目的”。

robots 是抓取提示，不是权限系统

RFC 9309 定义 robots exclusion protocol 的分组、匹配和抓取规则，它不是访问授权。任何客户端都可以忽略文件；已经知道 URL 的系统也可能保留其他来源中的链接信息。草稿、租户内容、带签名资源和管理页面必须依靠认证、授权和网络边界保护，不能把 Disallow 当成保密措施。RAG 检索权限控制 的“先授权再暴露证据”原则同样适用。

robots.txt 必须在固定 host/protocol 上返回可预期状态，CDN 错误页不能伪装成成功策略。测试器按 RFC 匹配语义对每个 token 和代表 URL 计算 allow/deny，并覆盖大小写、百分号编码、查询参数、通配与最长匹配。还要检查 sitemap 声明和页面级 noindex 是否与策略冲突：需要读取 noindex 的 crawler 若被 robots 阻断，就无法看到该指令。

用真实请求验证，不只审文本 diff

发布前在 staging 编译新旧策略的决策矩阵，任何从 deny 变 allow 的路径都要求显式批准。生产 shadow 分成两条证据：对可观测 crawler，边缘按新策略计算 wouldAllow，仍执行旧规则并记录 transport 验证；对 POLICY_ONLY token，只对真实 robots 产物和代表 URL 重放匹配矩阵，禁止伪造一类不存在的请求。搜索爬虫可观测性 负责前一类来源与响应，避免把伪造 User-Agent 当成厂商行为。

负向夹具至少包括：未知 token、伪造 IP、注册表过期、robots 缓存旧版本、不同子域策略串用、/docs/publicity 误匹配 /docs/public/、策略服务超时和 CDN 回源失败。未知或无法验证的请求只能按普通公开访客处理，不能取得隐藏内容；但不要因为验证服务故障就全站 403，否则会把普通用户和合法抓取一起中断。

效果观察分开报告：可观测 crawler 的已验证抓取量、被拒路径和源站带宽；policy-only token 的编译/缓存版本覆盖与决策夹具通过率；另列搜索曝光与索引变化。抓取增加不等于引用增加，robots token 政策变化也不能被报告成搜索排名提升或下降。AI 答案引用可见度实验 使用固定问题集测量引用，是另一条证据链。

回滚由策略 alias 指回上一版已签名产物，同时清理 CDN robots 缓存并继续记录新旧决策差异。若错误版本曾开放敏感路径，不能只回滚文本：还要检查访问日志、撤销泄露 URL 或令牌，并修复真正授权边界。Agent 出站 SSRF 防御 说明自动客户端本身也需受网络约束，robots 从不承担该职责。

一份合格策略最终能回答三个不同问题：这是哪个可验证主体、它声明并获准的用途是什么、目标路径是否本来就公开。把这三者分开，才不会为了 AI 可见度牺牲访问控制，也不会因模糊封禁误伤搜索入口。

延伸阅读

• 程序化 SEO 模板门禁
• 搜索爬虫可观测性
• AI 答案引用可见度实验
• RAG 检索权限控制