免費數據，萬億價值：Common Crawl如何餵養整個AI世界
Common Crawl 與其創始網絡：開放網絡基礎設施如何成爲 AI 時代的底座
研究邊界與核心判斷
先把“創始人們”說清楚：按 Common Crawl 官網口徑，官方創始人只有 Gil Elbaz 一人；官方歷史頁和 2011 年官方回顧則顯示，Carl Malamud 與 Nova Spivack 在 2008 年加入董事會，Ahad Rana 負責把最早的 crawler 與處理管線真正搭起來。因此，嚴格寫法應當是：Gil Elbaz 是創始人，Nova Spivack / Carl Malamud 是最早期董事與制度共建者，Ahad Rana 是早期關鍵技術搭建者。
Common Crawl 不是普通意義上的“數據庫公司”，更像互聯網時代的公共基礎設施。它是 2007 年成立的 501(c)(3) 非營利機構，自 2008 年持續留存開放網絡抓取數據；截至 2026 年官網口徑，累計檔案規模超過 10 PiB，覆蓋 15 年以上、3000 億以上頁面，並持續以月度節奏發佈每期通常 20 億以上網頁的新抓取。數據由 Amazon Web Services 的 Open Data Sponsorship Program 託管並免費開放。
它真正從“技術圈公共品”變成“全球性關鍵基礎設施”，是因爲大模型。Mozilla Foundation 2024 年對 2019 年到 2023 年公開發布的 47 個文本生成 LLM 的研究顯示，至少 64% 使用過經過過濾的 Common Crawl；OpenAI 的 GPT-3 論文也明確寫到，其訓練數據中的多數 token 來自過濾後的 Common Crawl。換句話說，Common Crawl 從“開放網絡資料庫”變成了“生成式 AI 的底層原材料市場”。
起源與時間線
早期時間線可以壓縮成四次關鍵躍遷。2007 年立項，目標是讓沒有自建搜索引擎能力的研究者也能拿到 web-scale crawl；2008 年開始用自研的基於 Hadoop 的 crawler 抓數；2012 年上雲並由 AWS 託管，同時獲得由 blekko 捐贈的抓取元數據以改進覆蓋質量與垃圾過濾；2013 年改用基於 Apache Nutch 的 CCBot，並從 ARC 切到更標準的 WARC。這一階段，它完成了從“理念工程”到“可持續運轉的數據工廠”的轉換。
第二次躍遷發生在 AI 爆發前後。2019 年 Google 用單個 Common Crawl 快照清洗出 C4 訓練 T5；2020 年 GPT-3 把 Common Crawl 推到聚光燈下；2023 年 Rich Skrenta 出任執行董事；2024 年組織加入 End of Term Web Archive；2025 到 2026 年又連續推出 Opt-Out Registry、Web Languages Project、CommonLID 等項目。它已經不只是“抓取網頁”，而是在做規則、質量信號、註釋體系和研究社區組織。
站在 2026 年回看，Common Crawl 的戰略價值不在單次技術突破，而在持續性。它不是一次性數據集，而是穩定更新、可長期引用、能被下游反覆清洗和重構的“開放網絡底層層”。這類基礎設施一旦形成路徑依賴，價值會非常難替代，因爲研究論文、派生語料、訓練 pipeline、law/policy 討論都會漸漸圍着它長出來。
創始人與早期核心人物
Gil Elbaz 的公開家庭資料並不完整；準確出生日期、出生地、父母職業，公開資料有限。能確認的是，他在 Cincinnati 和 San Antonio 長大，小時候就對年鑑、天氣數據和數字模式極度着迷；他自己回憶，父母“並不是數學家”，但他從小就想讓家裏人爲自己出題、批改。這個細節很重要，因爲它說明他後來做的幾乎所有事——語義廣告、開放數據、Common Crawl——底層都是同一種認知方式：把現實世界當作可被結構化、索引化、計算化的數據集合。
教育上，Gil 1991 年畢業於 California Institute of Technology，雙修工程/應用科學與經濟學。這個組合後來幾乎成了他的職業模板：一邊做很硬的基礎技術，一邊從市場結構和規模化價值去看問題。公開演講與人物採訪都顯示，他在學校裏並不把自己定位爲學者型博士路線，而更像面向現實系統與大機會的技術廣譜創業者。
工作與創業路徑上，Gil 畢業後先在 IBM、Sybase、SGI 做工程/數據庫相關工作；1998 年聯合創辦 Applied Semantics，2003 年被 Google 收購後進入 Google Santa Monica 任工程總監；2007 年又創辦 Factual。Common Crawl 就是在這條連續創業鏈條中出現的非營利分支：Applied Semantics 證明了“語義理解+廣告/檢索”的商業價值，Factual 證明了“結構化開放數據”的商業價值，而 Common Crawl 則把同一套世界觀推進到公共基礎設施層。
這也解釋了爲什麼 Common Crawl 不是 Gil 的偶發慈善項目，而是他職業哲學的制度外化。2011 年官方文章明確寫到，他創辦基金會的動機，是認爲隨着存儲帶寬下降、big data 處理門檻下降，建設一個面向所有人的開放 web crawl 倉庫既“可行”，也“應該被做出來”。後來他又通過XPRIZE Foundation 董事、家族公益網絡等方式繼續投入這類“技術+公益基礎設施”的事業。
Nova Spivack 的家庭與成長軌跡和 Gil 很不一樣。公開資料顯示，他成長於 Boston 一帶的藝術與發明混合家庭：父親是發明者/藝術家，母親是詩人；他後來回憶，家裏不鼓勵看電視，卻長期留出多個房間給做手工、繪畫和發明。對 Nova 影響最大的，不只是技術本身，而是“技術、藝術、精神世界、未來主義可以放在一起思考”的成長環境。
教育和早年經歷上，Nova 畢業於 Oberlin College。他在校時在計算機、藝術史、工作室藝術與心靈哲學之間來回切換，後來又去尼泊爾藏傳佛教寺院長期停留；他自己說，那段經歷讓自己第一次真正獲得了“方向感”和“目的感”。回到美國後，他先在信息過濾公司 Individual Inc. 工作，再與夥伴創辦 EarthWeb，很早就進入互聯網社區、開發者媒體和語義網絡方向。放到 Common Crawl 框架裏看，Nova 的價值更偏“願景、語義網絡視角、開放互聯網意識形態”的共同塑造，而不是底層抓取工程執行。
Carl Malamud 在 Common Crawl 歷史中的位置，更像“開放公共信息運動的制度盟友”，而不是技術創始人。官方 2011 年回顧明確寫到，他在 2008 年加入董事會；他長期更核心的身份，則是 Public.Resource.Org 的創辦者，曾推動 SEC EDGAR 等公共數據庫上網、長期爲公共法律與政府資料開放訪問奔走。Carl 的家庭背景、童年、系統教育，公開資料有限；但僅從職業路徑看，Gil 把他拉進董事會，等於給 Common Crawl 補上一層強烈的公共性、法理性與開放訪問正當性。
早期技術實現裏，最值得單獨寫的人其實不是董事，而是 Ahad Rana。官方 2011 年回顧明確寫到，是他搭起了最早的 crawler 和 processing pipeline，並讓組織在當時就能覆蓋約 50 億頁面、同時提供 PageRank 與 link graph 這類可計算元數據。換句話說，Common Crawl 不是“先抓下來，後面再說”，而是從起步階段就試圖做成可分析、可計算、可複用的開放數據基礎設施。
資產網絡與商業邏輯
如果把 Common Crawl 當成一項“資產型機構工程”看，它最重要的真資產不是 logo，不是口號，而是四層東西：長期積累的 archive、穩定發佈的 index、基於 CCBot 的抓取與優先級系統、以及 host/domain 級 Web Graph。官網寫得很清楚：其原始數據以 WARC 保存，派生出 WAT/WET、CDXJ 與 columnar index，並用 Harmonic Centrality 與 PageRank 來影響抓取優先級。這些東西組合起來，構成了極少數機構纔有能力長期維護的 web-scale data plant。
它的“品牌資產”則體現在三個層面。第一，免費開放與可復現，降低研究門檻。第二，持續更新，形成事實上的行業默認原料市場。第三，網絡效應——研究者、開源社區、模型公司都在它之上做派生語料、清洗 pipeline 和 benchmark。官方 About 頁寫它已被 12,000+ 論文引用；官方統計文章則顯示，Google Scholar 對 Common Crawl 的累計引用從 2012 年的 30 次上升到 2023 年的 1,777 次。
資本與收入結構上，Common Crawl 與普通數據庫公司幾乎相反：它沒有典型股權融資故事，沒有訂閱式 SaaS，不靠向用戶售賣 API；它本質上靠捐贈、贊助和基礎設施託管活着。官方 About 頁寫明主要資金來自 Elbaz Family Foundation；官方 2025 年回應又說，過去十五年幾乎一直主要靠該基金會，近年纔開始收到少量 AI 公司捐贈。與此同時，AWS 通過 Open Data Sponsorship 承擔關鍵託管角色，相當於把最重的一筆基礎設施成本平臺化了。
財務數據能看出它從“小而穩的公益工程”向“AI 時代基礎設施機構”的升級速度。ProPublica 列出的 IRS 數據顯示，2020 年收入只有 7.5 萬美元；2021 年 33 萬；2022 年 45.1 萬；2023 年躍升到 129.8 萬；2024 年進一步到 146.8 萬，2024 年支出 132.7 萬、淨資產 147.3 萬。也就是說，它依舊不大，但已經從志願色彩很濃的小組織，長成了有專職執行董事、CTO、研究工程團隊和法務配置的正式機構。
董事會與治理結構也發生了代際切換。2023 年稅表裏仍能看到 Nova Spivack、Gil Elbaz、Carl Malamud 作爲無薪董事/高管；但截至 2026 年官網團隊頁，董事會已變成 Gil 任主席，Eva Ho 任董事，Michael Birnbach 任司庫，Rich Skrenta 作爲執行董事帶團隊運營。這個變化很關鍵：它說明 Common Crawl 正從“創始人驅動的理想主義項目”轉向“有職業經理、研究團隊、法務與合作網絡的長期機構”。
合作網絡方面，官網 collaborators 名單已經表明它不再只是一個“裸數據倉庫”，而是站在開放 AI 與開放網絡資料基礎設施交叉點上的節點。合作/協作對象包括 Allen Institute for AI、Hugging Face、MLCommons、EleutherAI、Johns Hopkins University、International Internet Preservation Consortium 等。它依賴的不是傳統 VC 資源網，而是“雲平臺 + 開源社區 + 研究機構 + 政策討論場”的混合資源網絡。
成果爭議與現實位置
Common Crawl 最成功的地方，不是自己做出了某個明星終端產品，而是把“抓取整個開放網絡”從大型搜索公司專屬能力，變成了研究界、創業者和開源社區可以反覆複用的公共資源。很多後來的數據集、語料清洗 pipeline 與訓練語料工程都可以“站在一個已經抓好的互聯網之上”再加工，而不必自己重複投入天價抓取成本。Mozilla 的評價很到位：它提升了訓練數據可得性，增加了競爭，也提高了一部分可見性與透明度。
在 AI 具體成果上，它不是直接訓練模型的一方，卻幾乎是所有人的上游。Google 用 Common Crawl 快照做出 C4 訓練 T5；GPT-3 的多數 token 來自過濾後的 Common Crawl；官網還列出了 CCNet、OSCAR、Pile-CC、RefinedWeb、FineWeb、CommonLID 等派生體系。到這一步，Common Crawl 的現實地位已經非常像“原油市場”而不是“成品品牌”——真正賺大錢的是煉油廠，但整個體系離不開提供原料的那段管道。
另一個關鍵轉折，是它開始主動修補自己過去被批評最多的短板。官方承認英文內容長期過度代表，於是 2024 年底啓動 Web Languages Project；2026 年又與 MLCommons、EleutherAI、Johns Hopkins 等推出覆蓋 109 種語言的 CommonLID。這裏能看見身份變化：它不再只追求“規模”，開始追求“質量、分佈、公平性、可註釋性”。
但它的爭議也非常集中，而且不是邊角料。第一類爭議是版權與刪除請求。2024 年 Danish Rights Alliance 發起要求刪除丹麥媒體內容，Wired 報道 Common Crawl 表示會配合；2025 年 The Atlantic 的調查則稱，Common Crawl 檔案中仍保留大量來自 The New York Times 等出版商的內容，並質疑其所謂刪除進度和站內搜索結果準確性。Common Crawl 隨即公開發文反駁，稱自己沒有“對出版商撒謊”，並強調移除歷史檔案在技術上很複雜。爭議核心因此並不只是“有沒有遵守 robots.txt”，而是“歷史抓取、刪除承諾、檢索可見性，以及面向 AI 的再利用”之間的落差。
第二類爭議是立場問題。Common Crawl 2025 年向英國版權與 AI 諮詢提交意見時，公開支持爲 text and data mining 設立更清晰的法律例外，並提出 “right to read should encompass the right to mine” 的原則；這使它在出版商和創作者眼裏，不再只是中立倉庫，而是 actively participating 的政策行爲者。對支持開放數據的人來說，這是必要發聲；對版權方來說，這意味着它已經從基礎設施進入了規則塑造。
第三類爭議是數據衛生與安全。2025 年研究者基於 2024 年 12 月的 Common Crawl 檔案掃描出 11,908 個仍然有效的 API key 和密碼。嚴格說，這不意味着 Common Crawl 主動泄密，但它說明“開放網絡原樣抓取 + 大規模再利用”會把公開頁面裏本就存在的配置錯誤放大成系統性風險。對把它當訓練原料的人來說，這意味着後處理、去敏感、授權治理都不能外包給 Common Crawl 一個機構。
第四類批評是代表性與偏差。Mozilla 研究和 Stefan Baack 的 FAccT 論文都強調，Common Crawl 儘管規模巨大，卻並不是整個互聯網的中性鏡像；抓取優先級、語言覆蓋、過濾方法、以及誰有資源去再清洗它，都會把偏差繼續傳遞給下游模型。Common Crawl 自己近兩年也開始公開討論這些問題，說明它已經意識到“只要開放就夠了”的時代結束了。
截至 2026 年 4 月，Common Crawl 的現實位置可以用一句話概括：它不是最會賺錢的公司，也不是最顯眼的 AI 產品，但它是連接開放網絡、學術研究、開源數據清洗和大模型訓練的一段關鍵中間層。官網列出的最新抓取已到 CC‑MAIN‑2026‑12；團隊頁顯示它已有完整的工程、研究、法務和項目管理配置；它還在連續發佈 Web Graph、crawl stats、CommonLID、examples browser 等衍生產品。它真正的歷史位置，不在利潤表，而在路徑依賴——一旦大量研究、清洗 pipeline、模型訓練語料、評測基準和政策爭論都圍繞它發生，它就從檔案館變成了制度性底座。未來外界評價它，不會主要看“抓得多不多”，而會看“治理是否可信、刪除機制是否可信、語言與版權偏差是否被認真修補，以及它到底更像公共圖書館還是 AI 原料商”。