2026年11月1日，OpenAI、谷歌、微软与Anthropic宣布共同采纳一项新标准，允许网站通过robots.txt文件统一声明拒绝AI模型训练抓取。该标准由Anthropic技术负责人Kevin Kelley向IETF提出，旨在解决当前需逐家设置AI使用偏好的繁琐问题。Anthropic已率先实施，OpenAI计划数月内落地，谷歌和微软预计2027年支持。Meta表示支持但未公布时间表。此举将提升内容发布方对数据使用的控制权，回应行业对AI训练数据来源合规性的关切。