Meta高频抓取网页为AI搜索建索引
Meta正大规模抓取网页以构建自有AI搜索索引，独立开发者Pieter Levels称本周其多个网站遭高频访问，触发VPS负载报警。
DataDome数据显示，2026年第二季度Meta两只AI爬虫共发出91亿次请求，其中Meta-WebIndexer单季增长163%，6月请求量首次超过训练爬虫；此举旨在减少对Google与Bing的依赖。
网页流量与算力被大规模AI索引消耗，事件驱动下内容站点承压，受益者为自建搜索能力的平台，传统搜索依赖方与小型网站运营成本上升。
来源：公开信息
ABAB AI 解读
Meta自2024年起布局自有搜索能力，以支撑Meta AI减少对外部引擎的调用，爬虫从模型训练转向实时索引，路径从内容消费向独立检索基础设施延伸。
资源投入集中于高频、低回报的全网抓取，动机在于掌控答案来源与数据闭环，避免搜索请求外流并被竞争对手用于训练，同时提升AI响应的时效性与可控性。
类似早期Google建立索引或OpenAI等平台的爬虫扩张；当前处于从依赖外部搜索向垂直自建索引的扩张阶段，AI搜索行业正从开放网页转向封闭数据护城河。
本质属于产业链重构：网页内容从用户流量入口变为AI训练与索引原料，机制在于高强度抓取几乎不带来回访流量，导致内容方成本与收益进一步失衡。
ABAB News · 认知定律
AI索引的扩张以内容方算力为代价
自建搜索是切断数据外流的战略选择
高频爬取却零回访是新的价值抽取模式