共享 robots.txt 信号表达 AI 训练偏好：字段确定前，网站运营方与抓取方分别该核对什么

目前能确认的只有一条窄结论：据 OpenAI 2026 年 10 月 30 日的公告摘要，OpenAI 将遵守一个共享的 robots.txt 信号，用来让网站运营方把 AI 训练偏好传达给参与该机制的提供方（OpenAI 公告）。摘要没有给出字段名、取值集合、解析优先级、参与方名单，也没有给出生效时间。所以“字段与核对点”这一题，现在能写实的只有结构层：哪些位置必须核对，哪些判断必须等原文。下文凡涉及 token 名称与冲突处理的部分，都标为待核实，不代表发布方的说法。

一个文件里要装两件不同的事#

抓取许可（能不能来抓）和训练偏好（抓到之后能不能用于训练）是两类声明。robots.txt 传统上只表达前者，这是由它的通用用途推断出来的，不是本次材料的内容。把训练偏好放进同一个文件会带来一个直接后果：改偏好时抓取策略被一起重新发布，改抓取策略时偏好也被一起重新发布。所以核对清单的第一条应当是“这两类声明能不能分开审计”，而不只是“写哪个字段”。

网站运营方的核对点#

• 位置。信号需要写在站点根路径下的 robots.txt，才可能被按 robots.txt 的常规路径读取；放在子目录里的副本、或写在页面 meta 里的说明，不构成同一份声明。
• 独立性。除非你已确认目标抓取方的解析顺序（待核实），否则不要用训练偏好条目去改写已有的 Disallow/Allow。
• 覆盖范围。摘要的措辞是“参与的提供方”。未声明参与的抓取方不受这条承诺约束，仍按各自策略处理；不要把这条信号当成对所有爬虫的普遍约束。
• 留痕。变更前保存 robots.txt 快照与时间戳，变更后保留 diff。这是事后唯一能说清“当时到底声明了什么”的证据，而且不依赖字段语义何时确定。
• 别当合同用。robots.txt 依赖抓取方自愿遵守，不等同于授权、许可或服务条款；需要法律约束力时应另立条款。

抓取方的核对点#

• 是否在参与名单内——本次材料未提供名单，待核实。
• 解析细节：按 User-agent 分组匹配、通配符、最长匹配、大小写敏感性，这些是 robots.txt 解析的常见分歧点；新信号是否沿用同一套规则，待核实。
• 刷新周期：robots.txt 通常会被缓存，偏好的变更多久生效，待核实。
• 可审计性：能否证明某次抓取时读到的 robots.txt 内容是什么。做不到这一点，就无法自证遵守。

占位示例：未执行，不可照抄#

下面只是结构演示，YOUR_SIGNAL_TOKEN 与取值均为占位，不是真实字段名，也没有实际运行过任何解析器。

# 占位示例，未执行，不可直接上线
User-agent: *
Disallow: /private/
YOUR_SIGNAL_TOKEN: VALUE_FROM_PROVIDER_DOCS

真实字段名、取值和分组语义，应以参与提供方公布的文档为准。在拿到文档之前，这段内容写进生产环境只会增加一次无意义的变更记录。

需要等原文才能定的项#

这个信号不做的事#

按 robots.txt 的一般行为推断，它只作用于抓取之前的声明：对已经抓取并存留的内容没有回溯效力，对不参与该机制的抓取方没有约束力，也不替代版权声明、内容许可或服务条款。这三条边界值得先写进内部说明，避免团队把“已声明偏好”理解成“已禁止使用”。