独立开发者Pieter Levels用自建爬虫替代付费抓取SaaS,月费降至1美元
独立开发者Levels自建抓取月费降至1美元
独立开发者Pieter Levels用自建爬虫替代付费抓取SaaS:此前为Google搜索结果抓取支付ScrapingBee商务档约249美元每月,在AI与友人协助下把同等能力跑上自有VPS,成功率约90%,月成本约1美元。
Levels运营Nomad List、Remote OK、Photo AI、Interior AI、Hotelist等产品,抓取主要用于程序化SEO与酒店搜索页。他曾公开称折腾数周仍无法做出稳定Google SERP抓取,无头浏览器加住宅代理与验证码服务仍易被封,因而继续付费。此次方案侧重点是真实Chrome而非Chromium、有界面持久配置文件、约30秒一次请求并做缓存,社区随后出现以该路径为蓝本的自托管替代项目,提供搜索JSON与页面抓取接口。
ScrapingBee由Pierre de Wulf与Kevin Sahin创办,定位代理轮换、无头浏览与Google Search API,商务档249美元含约300万积分与200并发。Levels成本账此前已把非AI站点总支出压到每月约979美元、利润率超99%,其中抓取曾从249美元降到99美元档;此次再把抓取从订阅改成自建。他列出仍保留的付费项为域名、邮件发送、对象存储、服务器与大模型接口。
机房IP通常数小时内被Google拦截,自建方案需住宅代理且国家与搜索地区匹配,验证码仍可能要人工。自建换来的是维护反爬与封禁的工程时间,换出的是中间层SaaS毛利。DeepSeek等模型公司持续招聘基础设施与训练岗位,显示算力、存储与模型层仍在吸走工程编制。
市场机制上,买方是原本购买薄封装抓取API的独立开发者与小团队,卖方是ScrapingBee、SerpApi、Bright Data一类中间件;驱动是代码生成把“几周做不出来”压缩到数天。资金从按月API账单流向VPS、代理与模型调用。受益的是能接受约九成成功率并自己运维的个人开发者,承压的是靠反爬封装收249美元档的工具型SaaS,底层域名、存储、算力与模型接口反而更难被替换。
来源:公开信息
ABAB AI 解读
Levels从2014年“12个月12个产品”起就用单机PHP、SQLite和一台VPS跑百万美元级业务,Photo AI等产品把毛利率做到接近99%。他对待SaaS的习惯是逐笔盯银行推送、能砍就砍:备份从无限版本改成定额、云主机降配、地图与推文API能换就换。抓取是最后一批砍不动的账单,因为Google把无头指纹和请求频率当成机器人信号。AI改变的不是反爬物理规律,而是一个人写Playwright编排的时间成本。
资本路径是把中间件订阅改成自有固定成本:1美元级VPS替换249美元API,省下的是封装层定价权,留下的是Cloudflare域名与邮件、R2与B2存储、Linode类主机和模型账单。动机是程序化SEO必须稳定拉SERP,战略是只外购自己几周也做不稳、且具网络效应的层。ScrapingBee这类公司靠代理池与验证码网络收规模溢价,一旦头部客户示范“九成成功率可接受”,商务档客单价最先松动。
类似案例是开发者用开源方案替代监控、表单、截图与内部后台SaaS,以及Zapier类编排被模型代理拆成脚本。行业阶段对薄工具是替代,对基础设施是集中:抓取、报表、内部CRUD被下放到个人仓库,域名、对象存储、GPU和基础模型变成更硬的收费点。SerpApi、Oxylabs仍服务要SLA与全球代理的企业,个人站长市场正在改写制造或购买的分界。
结构上属于技术替代推动定价权下移:生成式编程降低“再做一个内部工具”的固定成本,使月费249美元的封装失去对个人买家的垄断。机制是反爬仍贵,但贵在代理与指纹,不在那层JSON包装;谁卖包装谁先被代码生成吃掉,谁卖不可复制的地址、电力与权重谁留下账单。
ABAB News · 认知定律
AI先吃薄且贵的中间件,不先吃水电
制造成本跌破订阅价,购买边界就后移
剩下来的SaaS,多半长在物理和协议上