Meta高頻抓取網頁爲AI搜索建索引
Meta正大規模抓取網頁以構建自有AI搜索索引，獨立開發者Pieter Levels稱本週其多個網站遭高頻訪問，觸發VPS負載報警。
DataDome數據顯示，2026年第二季度Meta兩隻AI爬蟲共發出91億次請求，其中Meta-WebIndexer單季增長163%，6月請求量首次超過訓練爬蟲；此舉旨在減少對Google與Bing的依賴。
網頁流量與算力被大規模AI索引消耗，事件驅動下內容站點承壓，受益者爲自建搜索能力的平臺，傳統搜索依賴方與小型網站運營成本上升。
來源：公開信息
ABAB AI 解讀
Meta自2024年起佈局自有搜索能力，以支撐Meta AI減少對外部引擎的調用，爬蟲從模型訓練轉向實時索引，路徑從內容消費向獨立檢索基礎設施延伸。
資源投入集中於高頻、低迴報的全網抓取，動機在於掌控答案來源與數據閉環，避免搜索請求外流並被競爭對手用於訓練，同時提升AI響應的時效性與可控性。
類似早期Google建立索引或OpenAI等平臺的爬蟲擴張；當前處於從依賴外部搜索向垂直自建索引的擴張階段，AI搜索行業正從開放網頁轉向封閉數據護城河。
本質屬於產業鏈重構：網頁內容從用戶流量入口變爲AI訓練與索引原料，機制在於高強度抓取幾乎不帶來回訪流量，導致內容方成本與收益進一步失衡。
ABAB News · 認知定律
AI索引的擴張以內容方算力爲代價
自建搜索是切斷數據外流的戰略選擇
高頻爬取卻零回訪是新的價值抽取模式