OpenAI、谷歌、微软和Anthropic支持在robots.txt中用统一信号拒绝AI训练

据 The Verge 于 2026年10月30日 报道（此前Search Engine Roundtable已有报道），OpenAI、谷歌、微软和Anthropic 表示将采用一种新的共享信号，让发布者可以拒绝其网站被用于AI抓取。

工作方式

• 该信号是放在网站 robots.txt 文件中的 “policy token”。robots.txt是长期以来告诉爬虫哪些内容可以抓取、哪些不可以的文件。
• 提案由Anthropic标准技术负责人 凯文·凯利（Kevin Kelley） 在 互联网工程任务组（IETF） 提出。
• 目前网站必须 分别向每家公司 声明其AI训练偏好；共享token将把同一偏好应用于多个爬虫。

各公司细节

微软表示将提供更细的控制，把拒绝 AI训练 与拒绝 AI grounding（让模型依据经核实的来源以减少编造）分开，且无论网站如何选择都会保留在必应搜索结果中。谷歌此前已有类似控制，不影响搜索可见度。

注意

该token目前仍是IETF的 提案，并非最终标准；robots.txt是自愿遵守的，只对选择遵守它的爬虫有效。The Verge未给出四家公司的启用日期。