Google于2026年10月30日宣布,计划在2027年支持网站通过 robots.txt 表达通用AI训练偏好。参与的服务商可以读取同一项偏好。对企业官网而言,现在可以先盘点公开内容和现有配置,再根据正式支持情况决定如何设置。

这项机制源于 IETF 的 AIPREF 工作。Google 描述的方式是让网站在 robots.txt 中使用通用标记,向采用该机制的服务商表达内容训练偏好。Google 提到希望与其他服务商于2027年支持该机制。网站负责人可以把公告日期与预计支持时间分别记录,等正式文档和实际行为明确后再安排上线。
按照公告描述,如果网站通过通用标记选择退出训练,且未明确设置 Google-Extended,Google 计划按禁止 Google-Extended 的方式解释该偏好。服务商专用规则仍可用来表达个别选择。各平台是否采用、什么时候支持,以及规则怎样解释,需要分别核对。Google Search Central 官方公告
Google 现行文档说明,Google-Extended 可以管理某些 Gemini 模型训练和回答引用用途。该设置不会影响网站进入 Google 搜索结果,也不作为搜索排名信号。企业如果希望产品页继续被搜索引擎发现,可单独核对 Googlebot 的抓取规则、页面的索引指令和站点地图。Google-Extended 官方说明
例如,产品介绍和品牌案例可以按既定方式对外展示。仅供特定客户查看的文件,应通过账号和项目权限控制访问,再核对下载地址与共享方式。站点搜索设置和客户资料权限可以分别参照robots.txt 与 noindex 的区别及客户交付资料区的访问安排。
外贸企业常有多语言页面和多个版本的产品资料。可以先按页面和文件建立清单,由市场、产品和技术人员共同核对可公开范围。整理方法可参考多语言内容的版本与维护分工。
调整前可以保存现有规则,并记录需要保持可抓取的重点页面,例如首页、产品目录和联系页。等服务商公布正式做法后,再对照其说明决定是否采用通用标记、是否保留现有专用规则,并检查发布后的 robots.txt 是否能正常访问。已有搜索数据的企业,可把改动日期和搜索控制台的后续表现一并记录,以便定位变化。
对于正在建设英文产品站的团队,内容公开方式可以与资料录入、版本维护和后续管理一起确认。建站范围可参考制造业英文询盘站报价清单。