robots.txt 里的 AI 训练偏好：运营者现在能写什么、还不能写什么

简短回答：按目前可核实的信息，站点运营者还写不出「确定生效」的 AI 训练偏好声明。OpenAI 在 2026 年 10 月 30 日的一份公告摘要中表示，会遵守一个共享的 robots.txt 信号，帮助网站运营者向参与该机制的提供方传达其 AI 训练偏好（来源）。这条信息能确认的只有三点：载体是 robots.txt、信号是多家共享的、OpenAI 表示会遵守。摘要没有给出字段名、语法、默认值或生效时间，所以本文不提供可复制的写法。

这次声明的实际作用范围#

robots.txt 传统上承载的是「哪些路径允许被抓取」，属于抓取许可。这次公告把另一类意图——内容能否用于 AI 训练——放进了同一个文件。

据此可以做一个推断（非来源事实）：单个共享信号意味着运营者可能不需要为每家提供方各写一套声明；但代价是两类语义不同的意图共用一个入口，容易被后续维护者混读。因此工程上更稳妥的做法是把「抓取策略」和「训练偏好」当成两条独立记录管理，即使它们最终落在同一个文件里。

语法未定之前可以先做的事#

这些不依赖具体写法，属于内部决策与记录工作：

• 先定偏好。全站允许、全站不允许，还是按路径或内容类型区分？这是业务与法务决策，不必等语法公布。
• 分别记录两类意图。抓取规则与训练偏好各写一份当前状态，注明生效范围（域名、子域、路径）。
• 变更留痕。记录谁在何时依据哪份文档做了修改，便于日后回溯与回滚。

现有材料回答不了的问题#

这些不是发布方「没有说明」，而是本次可用的材料只有摘要，未覆盖这些细节。需要以官方文档正文为准。

上线顺序建议#

1. 盘点现状。导出当前生效的 robots.txt，标注各条规则的来源与最近修改时间。
2. 完成偏好决策并书面确认，避免把决策过程带进生产配置。
3. 核对官方文档原文，确认语法、大小写、路径匹配与注释规则。
4. 先在非主域或测试子域验证，观察抓取日志是否出现预期外的变化。
5. 保留回滚版本，并明确触发回滚的判据，例如核心爬虫抓取量异常下降。

一条边界#

不要把网络转述里「看起来像」的指令直接写进生产 robots.txt，并假定它已表达训练偏好。未核实的语法不产生声明所述的效果，还可能误伤正常抓取；而 robots.txt 位于站点根路径，写错的影响面是全站。在语法明确之前，能确定的正确动作是：把偏好想清楚、把现状记清楚、把官方文档加入变更订阅。