robots.txt 里的 AI 训练偏好信号：站点如何声明、如何自检生效范围
robots.txt 的传统指令只能表达“谁可以抓”，无法表达“抓走之后能用来做什么”，AI 训练偏好信号试图补上后一半，但它是参与方自愿遵守的约定，不是访问控制。本文说明这套信号的边界、站点侧可做的声明准备，以及用状态码、内容类型…
发布于 2026-10-31 · 沐小悠 · 约 9 分钟
38 次阅读 阅读 →