2026年9月15日，Cloudflare宣布上线“Disallow AI Training”新设置。该功能允许网站管理员在保持搜索引擎正常爬取的同时，拒绝内容被用于AI模型训练。苹果、谷歌、微软已承诺支持该标准。启用后，仅标记为“Accountable”的混合爬虫可访问，其余AI训练爬虫将被拦截；此举或影响搜索排名。多数用户无需手动配置，原有屏蔽设置已自动迁移。谷歌、苹果、微软正分别推进URL级透明度工具及robots.txt扩展支持。