獨立開發者Pieter Levels用自建爬蟲替代付費抓取SaaS,月費降至1美元
獨立開發者Levels自建抓取月費降至1美元
獨立開發者Pieter Levels用自建爬蟲替代付費抓取SaaS:此前爲Google搜索結果抓取支付ScrapingBee商務檔約249美元每月,在AI與友人協助下把同等能力跑上自有VPS,成功率約90%,月成本約1美元。
Levels運營Nomad List、Remote OK、Photo AI、Interior AI、Hotelist等產品,抓取主要用於程序化SEO與酒店搜索頁。他曾公開稱折騰數週仍無法做出穩定Google SERP抓取,無頭瀏覽器加住宅代理與驗證碼服務仍易被封,因而繼續付費。此次方案側重點是真實Chrome而非Chromium、有界面持久配置文件、約30秒一次請求並做緩存,社區隨後出現以該路徑爲藍本的自託管替代項目,提供搜索JSON與頁面抓取接口。
ScrapingBee由Pierre de Wulf與Kevin Sahin創辦,定位代理輪換、無頭瀏覽與Google Search API,商務檔249美元含約300萬積分與200併發。Levels成本賬此前已把非AI站點總支出壓到每月約979美元、利潤率超99%,其中抓取曾從249美元降到99美元檔;此次再把抓取從訂閱改成自建。他列出仍保留的付費項爲域名、郵件發送、對象存儲、服務器與大模型接口。
機房IP通常數小時內被Google攔截,自建方案需住宅代理且國家與搜索地區匹配,驗證碼仍可能要人工。自建換來的是維護反爬與封禁的工程時間,換出的是中間層SaaS毛利。DeepSeek等模型公司持續招聘基礎設施與訓練崗位,顯示算力、存儲與模型層仍在吸走工程編制。
市場機制上,買方是原本購買薄封裝抓取API的獨立開發者與小團隊,賣方是ScrapingBee、SerpApi、Bright Data一類中間件;驅動是代碼生成把“幾周做不出來”壓縮到數天。資金從按月API賬單流向VPS、代理與模型調用。受益的是能接受約九成成功率並自己運維的個人開發者,承壓的是靠反爬封裝收249美元檔的工具型SaaS,底層域名、存儲、算力與模型接口反而更難被替換。
來源:公開信息
ABAB AI 解讀
Levels從2014年“12個月12個產品”起就用單機PHP、SQLite和一臺VPS跑百萬美元級業務,Photo AI等產品把毛利率做到接近99%。他對待SaaS的習慣是逐筆盯銀行推送、能砍就砍:備份從無限版本改成定額、雲主機降配、地圖與推文API能換就換。抓取是最後一批砍不動的賬單,因爲Google把無頭指紋和請求頻率當成機器人信號。AI改變的不是反爬物理規律,而是一個人寫Playwright編排的時間成本。
資本路徑是把中間件訂閱改成自有固定成本:1美元級VPS替換249美元API,省下的是封裝層定價權,留下的是Cloudflare域名與郵件、R2與B2存儲、Linode類主機和模型賬單。動機是程序化SEO必須穩定拉SERP,戰略是隻外購自己幾周也做不穩、且具網絡效應的層。ScrapingBee這類公司靠代理池與驗證碼網絡收規模溢價,一旦頭部客戶示範“九成成功率可接受”,商務檔客單價最先鬆動。
類似案例是開發者用開源方案替代監控、表單、截圖與內部後臺SaaS,以及Zapier類編排被模型代理拆成腳本。行業階段對薄工具是替代,對基礎設施是集中:抓取、報表、內部CRUD被下放到個人倉庫,域名、對象存儲、GPU和基礎模型變成更硬的收費點。SerpApi、Oxylabs仍服務要SLA與全球代理的企業,個人站長市場正在改寫製造或購買的分界。
結構上屬於技術替代推動定價權下移:生成式編程降低“再做一個內部工具”的固定成本,使月費249美元的封裝失去對個人買家的壟斷。機制是反爬仍貴,但貴在代理與指紋,不在那層JSON包裝;誰賣包裝誰先被代碼生成喫掉,誰賣不可複製的地址、電力與權重誰留下賬單。
ABAB News · 認知定律
AI先喫薄且貴的中間件,不先喫水電
製造成本跌破訂閱價,購買邊界就後移
剩下來的SaaS,多半長在物理和協議上