Cloudflare開放禁止AI訓練設置
Cloudflare向全部客戶開放“禁止人工智能訓練”開關，站點可繼續被搜索收錄、同時拒絕內容進入模型訓練，以拆開同一爬蟲既做搜索又做訓練的取捨。蘋果、谷歌已遵守或承諾遵守該設置，微軟給出明確時間表。選“攔截”會把蘋果、必應、谷歌的混合爬蟲連搜索一起擋住；要留搜索、停訓練，必須用新開關。
公司同時設立“可問責”爬蟲認定，四條門檻：提供訓練退出、提供人工智能摘要退出、按網址披露收錄與訓練使用、公開承諾退出訓練不影響傳統搜索排名。蘋果、谷歌、微軟以及亞馬遜、Anthropic、Meta、OpenAI獲此認定。後四家已把搜索爬蟲與訓練爬蟲拆開，攔訓練不影響搜索。必應域名級支持目標約二零二七年初。
網絡側數據稱，已驗證爬蟲流量裏混合用途佔約百分之三十六點六，爲最大一類。約百分之十七站點啓用某種屏蔽訓練機制，屏蔽搜索爬蟲的不足百分之一。新接入且靠廣告變現的域名，默認在廣告頁禁止訓練與代理、放行搜索；其餘站點三項默認放行。代理類暫無單獨“禁止”檔，待偏好標準成熟再議。
開關通過機器人偏好同步寫入robots.txt，免費檔即可用。七月起已把流量拆成搜索、訓練、代理三檔；當天起舊的“攔截人工智能機器人”與“廣告頁攔截”對混合爬蟲生效。Cloudflare目標是明年初讓站長在一處控制內容被用多少，而不是逐家談判。
市場機制上，買方是要語料又要搜索入口的模型公司，賣方是靠廣告和點擊活着的站點。這是基礎設施改默認：把“不訓練”從必須犧牲收錄的威脅，改成可單獨勾選的偏好。流量從訓練爬蟲轉向仍被放行的搜索爬蟲；受益方是能同時要排名和拒訓練的出版方，承壓方是訓練、搜索尚未拆開的爬蟲運營方，以及必須證明退出訓練不影響排名的搜索引擎。
來源：公開信息
ABAB AI 解讀
Cloudflare把內容權從禮貌協議升級成默認開關。三十年來的交換是爬你、送回流量；生成式檢索把同一份抓取寫成訓練語料，出版方只能全開或全關。百分之十七對百分之一的不對稱，說明站長怕的是被寫成權重，不是被寫成索引。可問責認定把谷歌、蘋果、微軟和四家實驗室拉進同一張合規表，誰不拆爬蟲，誰就在“禁止訓練”打開時從搜索裏消失。
資本路徑是邊緣網絡向模型廠收過路權。Cloudflare不擁有內容，卻擁有大部分站點的第一跳。把偏好寫進免費檔，等於用分發權逼訓練方做產品拆分：搜索機器人留下，訓練機器人付費或被擋。亞馬遜到OpenAI先拆爬蟲，是因爲他們付得起兩套隊伍；中小爬蟲付不起，就會在默認攔截裏消失。廣告頁默認禁訓練，是把展示廣告的注意力貨幣寫成法律意義上的使用目的。
類比不是robots.txt誕生，而是cookie同意牆：平臺先給一鍵拒絕，再逼採集方證明自己可分拆。Google-Extended早已試過訓練退出，Cloudflare把它做成全網默認語言。行業從“爬蟲無差別”進入“用途必須申報”。代理機器人暫不設禁止檔，說明下一場仗是實時代辦，不是離線訓練。
結構判斷屬於定價權轉移。機制是：語料的價格曾經是零加帶寬，現在是可關閉的開關。誰控制開關，誰就能把訓練從默許改成許可。搜索排名承諾是開關能賣出去的抵押——一旦排名因退出訓練而下降，抵押作廢，站點會重新打開閘門。
ABAB News · 認知定律
同一只爬蟲做兩件事，站長只能關一次。
默認開關比禮貌協議更接近產權。
退出訓練若不傷排名，拒絕才有價格。