导语:花在配置文件上的钱,可能没有回响
11月9日,Custom Legal Marketing 向ChatGPT、Claude、Gemini和Grok各抛出3200条同类提问,合计12,800次,请它们推荐美国各城市的律师;次日又逐站访问被点名的网站,看这些律所到底有没有传说中那份给AI看的说明文件。同一周,另一位开发者在11月11日直接核查了30个知名站点的机器人协议与机器可读性。两份数据都在11月中旬公开,结论出奇一致:被大模型推荐,与官网是否放置llms.txt之间,几乎看不到关系。
背景:一个从提案长成交付项的文件
llms.txt缘起于2024年9月的一份技术提案,设想在站点根目录放一段简洁说明,列出重要页面,帮助智能体理解网站。2025年6月,有流行的SEO插件加入了自动生成这个文件的开关,它开始被写进不少服务商的交付清单。与此同时,模型厂商一直态度冷淡,谷歌的John Mueller在2025年4月把它类比为早年搜索引擎不再采信的关键词元标签,并称服务器日志里看不到抓取。一边是销售话术,一边是厂商沉默,这次的实测从被推荐站点那一端给出了参照。
深度分析:有文件与没文件,位置几乎一样
律所研究筛出3,212个可正常访问的有效律所网站。其中2,045家(63.7%)在llms.txt这个地址上什么都没有,却仍被至少一个平台推荐过;四个平台共同点名的93家里,有70家同样没有这个文件。再比位置:1,146家有文件的律所在AI答案里的平均位次是2.62,2,045家没文件的是2.61,差异可以忽略;在2,388条同时提到两类律所的答案里,有文件的一方排得更靠前占43.0%,更靠后占44.8%。更值得注意的是,1,146份文件中有574份带着SEO插件的签名,WordPress站点有文件的比例39.1%,其他站点26.1%,不少文件只是某个开关被打开的结果。另一项30站审计发现,高频被AI引用的站点里,有llms.txt的占40%,首页有JSON-LD结构化数据的占27%;商业软件站点这两项分别是60%和73%。研究者据此判断,决定引用的是外部口碑与可摘取的内容,不是自家根目录多出一个文件。
企业视角:把预算挪到三件有证据的事上
起手先保持抓取通道畅通。30站样本里只有一家在robots.txt中明确屏蔽GPTBot,没有一家屏蔽ClaudeBot、PerplexityBot或CCBot;反过来,误封检索类爬虫等于主动退出候选池。接着写能被摘走的事实句,把"我们提供专业服务"换成带主体、数字和出处的一句定义,让段落单独拿出来也站得住。再补第三方证据,模型引用维基百科、开发者社区和行业名录,是因为外部有大量讨论在替这些站点背书,这种信任无法靠站内标记凭空生成。极欧GEO(jiougeo.com)建议按被抓到、被摘走、被佐证三层顺序排期,把GEO优化的预算花在可核验的地方。
趋势研判:从文件技巧回到信任本身
两项研究都写明了局限:律所样本只覆盖一个行业和一次快照,且排除拒绝自动访问的站点;30站审计是单日取样,样本经过挑选,作者也坦言自己销售相关工具。因此这些数字应看作方向性提示,而非通行结论;但把相关性当成因果、把模板化文件当成筹码,风险已经很清楚。生成式引擎优化走到今天,能留下来的做法越来越朴素:事实一致、来源可查、外部有人替你说话。
