GEO资讯

一行robots声明AI训练退出,四巨头分批兑现

发布于 2026/11/5 14 次阅读
一行robots声明AI训练退出,四巨头分批兑现

导语:拒绝AI训练,从逐家谈判到一行声明

10月30日,谷歌、微软、OpenAI在同一天分别发布说明,宣布将支持同一个robots.txt信号,让网站一次性向多家AI公司表达「不要用我的内容训练模型」的偏好。据PPC Land报道,同日下午,Anthropic标准负责人凯文·凯利向互联网工程任务组(IETF)AI偏好工作组(AIPREF)邮件列表提交了配套互联网草案,并透露Anthropic已经开始落实支持工作。过去企业想拒绝AI训练,得逐家识别爬虫、逐家写规则,这件事正在变成robots.txt里的一段固定写法。

背景:统一令牌怎么写

这份编号为draft-kelley-aipref-training-preference-signal-00的草案没有发明新语法,仍然沿用robots.txt的既有规则:在User-Agent行写上统一令牌__usage_ai-training,下面照常配置Disallow与Allow路径。据PPC Land报道,草案明确了几条边界:通配符组不表达任何偏好,想表态就必须显式写出令牌;它约束的是内容的「训练用途」,不是抓取行为,也不影响网站在谷歌、必应搜索结果里的收录;各家公司现有的单独控制(如GPTBot、Google-Extended)继续有效。草案属于个人提交,并非IETF背书的标准,有效期到2027年5月3日。

深度分析:四家的时间表与语义差异

四家的执行节奏并不一致。微软给出了明确日期:2026年12月15日起在站长工具里为使用旧指令的站点开放过渡设置,2027年2月1日起在抓取时遵循新偏好,2027年3月1日之后不再把旧的NoArchive、NoCache标签当作AI偏好读取;谷歌表示目标在2027年初支持;OpenAI称计划在未来数月内实现;Anthropic已启动实施但未给出日期(以上均为各公司公开表态口径)。

语义差异同样值得留意。微软把「训练」与「实时引用」拆开管理,另设页面级控制,并提醒限制实时引用会明显降低内容在AI场景中的可见度;谷歌方面,据PPC Land解读,使用统一令牌退出训练、又未单独写Google-Extended的站点,会被视为同时拒绝了Google-Extended,而该控制可能延伸到Gemini的引用场景,谷歌官方并未直接确认这一点,企业应以官方文档后续更新为准。

企业视角:三步把决定做扎实

  1. 先决定要不要退出。对多数企业官网来说,被模型训练恰恰是品牌进入AI「常识」的机会,全站退出训练意味着模型在不联网检索时更可能答不上你;付费内容、独家数据才更需要考虑退出并走授权路径。
  2. 现在可以表态,但别删旧规则。想在协议层留痕的站点,可以显式写入统一令牌,同时保留原有的逐家规则,直到各家官宣生效;两组规则要口径一致,避免一边允许训练、一边拒绝训练的矛盾写法。搜索类与用户代取类爬虫保持放行,别让「退出训练」误伤「被引用」。
  3. 按日志验证效果。各公司生效时间不同,建议在官网日志里对比令牌写入前后的训练类爬虫访问,同时跟踪品牌在各生成式引擎回答中的引用与提及变化,极欧GEO(jiougeo.com)在企业诊断中即按此思路做跨引擎监测。

趋势研判:robots进入「按用途表态」阶段

从这次四家同步表态可以看出,网站与AI公司之间的接口正在细化:抓取、训练、实时引用被拆成三类用途分别管理,robots.txt的角色也从「放行与否」升级为「按用途表达偏好」。对企业来说,短期内的动作是核对自家robots.txt与站点设置,确保引用通道畅通;长期看,内容授权与AI流量分账还会继续演化,把事实性内容整理得机器可读、可核验,始终是应对不确定规则的确定动作。

信息来源