谷歌推廣goto跳轉鏈接攔截抓取,將結果頁外鏈改爲先經谷歌服務器跳轉,再進入目標網站
谷歌開始在搜索結果中推廣google.com/goto中轉鏈接,將結果頁外鏈改爲先經谷歌服務器跳轉,再進入目標網站。
該機制此前自7月起測試,用戶將鼠標移至搜索結果鏈接時可見goto參數;第三方工具不再能直接從客戶端HTML中提取最終目標地址。
SEO數據平臺Nozzle稱,該變化已在多個住宅IP提供商環境中接近100%覆蓋,說明谷歌正從有限測試推進至大規模部署。
技術上,goto鏈接採用服務器端重定向,目標URL無法通過簡單解析中轉地址還原;抓取服務必須逐一請求跳轉鏈接,才能獲得每條結果的最終落地頁。
每個搜索結果頁通常含有大量鏈接。逐條跟隨服務器跳轉將顯著增加抓取請求量、延遲、驗證碼觸發概率及代理IP成本,尤其影響批量提取搜索結果的SEO監測、數據聚合與AI檢索工具。
谷歌未直接確認該措施專門針對AI公司或搜索抓取,但其發言人確認該功能正在推出,並稱谷歌長期通過技術手段應對不斷演變的濫用行爲、保護服務與用戶。
市場機制上,搜索排名追蹤、SERP數據供應商及依賴谷歌結果建立檢索索引的AI工具需要買入更多代理、瀏覽器自動化與重定向解析能力,成本上升;擁有第一方搜索入口的谷歌則保留更多流量、請求控制與反自動化定價權。小型爬蟲服務商和以低成本搜索結果採集爲賣點的工具承壓,能夠提供合規授權數據、直接內容抓取或多搜索引擎替代方案的平臺可能受益。
來源:公開信息
ABAB AI 解讀
谷歌長期使用重定向、點擊測量和反濫用技術管理搜索流量,但搜索結果傳統上仍暴露可供瀏覽器直接訪問的目標鏈接。此次將外鏈替換爲服務器端goto路徑,改變的是數據採集的關鍵層:過去,爬蟲可在抓取結果頁時一次性獲得標題、摘要及目標地址;現在,取得落地頁地址需要發起額外請求。這個設計類似大型平臺從開放網頁鏈接轉向受控接口,將“可見結果”與“可機器讀取的數據”拆開。
資金和算力成本會從內容索引環節轉移到訪問控制環節。SEO追蹤公司通常通過大量住宅IP和自動化請求獲取排名數據;每條鏈接都需追加跳轉請求,意味着代理流量、會話維持、瀏覽器執行和驗證碼處理成本同步增加。對訓練或檢索增強生成系統而言,若其工作流依賴谷歌搜索發現網頁,單位有效URL成本將上升,數據源將更傾向於Bing、授權搜索API、網站直連抓取及自建網頁索引。
可類比X、Reddit和新聞出版商在生成式AI擴張後加強機器人限制、調整robots.txt或尋求內容授權:平臺先免費開放內容和關係圖譜以擴大網絡效應,等外部系統開始將其數據包裝成替代產品時,平臺再把訪問權變成可控制的稀缺資源。谷歌處於搜索結果頁從“網頁導航層”變爲“AI代理數據入口”的階段,因此中轉鏈接不僅是反爬蟲動作,也是對搜索索引外溢的邊界重設。
本質屬於定價權轉移:搜索結果頁此前把網頁發現能力免費交給瀏覽器和第三方工具,現在谷歌將最終鏈接的解析過程收回自身服務器。發生機制是,AI代理與大規模抓取能把谷歌的索引、排序和摘要能力轉化爲自己的產品價值,卻不必承擔索引維護、反垃圾和基礎設施成本。增加跳轉摩擦後,谷歌並未取消搜索結果,但提高了機器規模化提取的邊際成本,從而把數據訪問的議價能力由爬蟲方轉回搜索平臺。
ABAB News · 認知定律
免費入口一旦被規模化利用,就會變成收費關口
數據能被看見,不等於能被低成本提取
平臺最強的護城河,是重寫訪問路徑