Cloudflare开放禁止AI训练设置
Cloudflare向全部客户开放“禁止人工智能训练”开关，站点可继续被搜索收录、同时拒绝内容进入模型训练，以拆开同一爬虫既做搜索又做训练的取舍。苹果、谷歌已遵守或承诺遵守该设置，微软给出明确时间表。选“拦截”会把苹果、必应、谷歌的混合爬虫连搜索一起挡住；要留搜索、停训练，必须用新开关。
公司同时设立“可问责”爬虫认定，四条门槛：提供训练退出、提供人工智能摘要退出、按网址披露收录与训练使用、公开承诺退出训练不影响传统搜索排名。苹果、谷歌、微软以及亚马逊、Anthropic、Meta、OpenAI获此认定。后四家已把搜索爬虫与训练爬虫拆开，拦训练不影响搜索。必应域名级支持目标约二零二七年初。
网络侧数据称，已验证爬虫流量里混合用途占约百分之三十六点六，为最大一类。约百分之十七站点启用某种屏蔽训练机制，屏蔽搜索爬虫的不足百分之一。新接入且靠广告变现的域名，默认在广告页禁止训练与代理、放行搜索；其余站点三项默认放行。代理类暂无单独“禁止”档，待偏好标准成熟再议。
开关通过机器人偏好同步写入robots.txt，免费档即可用。七月起已把流量拆成搜索、训练、代理三档；当天起旧的“拦截人工智能机器人”与“广告页拦截”对混合爬虫生效。Cloudflare目标是明年初让站长在一处控制内容被用多少，而不是逐家谈判。
市场机制上，买方是要语料又要搜索入口的模型公司，卖方是靠广告和点击活着的站点。这是基础设施改默认：把“不训练”从必须牺牲收录的威胁，改成可单独勾选的偏好。流量从训练爬虫转向仍被放行的搜索爬虫；受益方是能同时要排名和拒训练的出版方，承压方是训练、搜索尚未拆开的爬虫运营方，以及必须证明退出训练不影响排名的搜索引擎。
来源：公开信息
ABAB AI 解读
Cloudflare把内容权从礼貌协议升级成默认开关。三十年来的交换是爬你、送回流量；生成式检索把同一份抓取写成训练语料，出版方只能全开或全关。百分之十七对百分之一的不对称，说明站长怕的是被写成权重，不是被写成索引。可问责认定把谷歌、苹果、微软和四家实验室拉进同一张合规表，谁不拆爬虫，谁就在“禁止训练”打开时从搜索里消失。
资本路径是边缘网络向模型厂收过路权。Cloudflare不拥有内容，却拥有大部分站点的第一跳。把偏好写进免费档，等于用分发权逼训练方做产品拆分：搜索机器人留下，训练机器人付费或被挡。亚马逊到OpenAI先拆爬虫，是因为他们付得起两套队伍；中小爬虫付不起，就会在默认拦截里消失。广告页默认禁训练，是把展示广告的注意力货币写成法律意义上的使用目的。
类比不是robots.txt诞生，而是cookie同意墙：平台先给一键拒绝，再逼采集方证明自己可分拆。Google-Extended早已试过训练退出，Cloudflare把它做成全网默认语言。行业从“爬虫无差别”进入“用途必须申报”。代理机器人暂不设禁止档，说明下一场仗是实时代办，不是离线训练。
结构判断属于定价权转移。机制是：语料的价格曾经是零加带宽，现在是可关闭的开关。谁控制开关，谁就能把训练从默许改成许可。搜索排名承诺是开关能卖出去的抵押——一旦排名因退出训练而下降，抵押作废，站点会重新打开闸门。
ABAB News · 认知定律
同一只爬虫做两件事，站长只能关一次。
默认开关比礼貌协议更接近产权。
退出训练若不伤排名，拒绝才有价格。