返回快訊

紐約客詳述Anthropic拆書掃描補長尾資料,披露更多細節

《紐約客》補充法院已披露的Anthropic拆書掃描細節:內部項目Project Panama被寫成“破壞性掃描世界上所有書籍”,通過拆裝訂、裁頁、掃描後丟棄紙本,把文本送入Claude訓練。

今年年初美國二手商在Alibris等渠道接到異常訂單:布魯克林一書商往年全年賣不到十本,突然單次十幾本,專挑冷門,均價約75至80美元,買家名爲Green Parrot Project、Red Sparrow Project一類有限責任公司。一書商在書中放入定位卡,包裹抵達伊利諾伊州Addison的ARC Document Solutions工業掃描廠;該公司宣傳部分中心全天運轉,單客戶月處理量可達“足球場大小、箱子疊四層”。雜誌從書商收集600餘本疑似賣給人工智能公司的書,多爲1970至2010年代,不少首印僅約千冊;出現最多的十家出版社裏八家爲學術社,樣本約三分之一爲學術出版物,含法律、歷史、文學批評與1972年市政污水污泥利用手冊。研究員Mycal Tucker作證稱非虛構通常比小說更有訓練價值,可提升哲學、天文學等表現。

早期可向批發商按批量採購,大路貨之後轉向二手網站補互聯網與現成庫缺失的長尾。Anthropic稱不收購古董收藏級稀缺本,區分“罕見有價值”與難找的專業參考書。相關版權訴訟文件早先披露採購與掃描規模以百萬冊計,公司曾尋求供應商在約六個月內處理數十萬至兩百萬冊。另有報道稱案件和解金額約15億美元量級,法官曾就內部使用數字副本是否構成合理使用作出認定。

市場機制上,這是紙本長尾對網頁語料的補貨。受益方是二手冷門書與工業掃描廠;承壓方是印量極低的學術庫存與必須爲訓練數據付版權的出版方。資金從模型公司採購預算進入書商與掃描外包,紙本在掃描後退出流通。

600本是抽樣,不是全部書單。定位卡證明物流終點,不自動證明每一單都進入同一模型。

來源:公開信息

ABAB AI 解讀

網頁語料被模型自己污染後,1970到2010年的紙本變成乾淨文本。破壞性掃描用空間換速度:一本變一堆圖,再變token。殼公司下單是爲了把需求從批發噸位降到“缺哪本補哪本”。學術社佔比高,說明要的是論證結構與術語,不是暢銷敘事。污泥手冊被買走,證明長尾標準是“網上沒有乾淨版”,不是“有人讀”。

資本把百萬冊採購寫成訓練質量,把和解寫成事後許可證。掃描廠24小時產能是這條供應鏈的真實瓶頸。合理使用認定若只覆蓋內部數字副本,不覆蓋紙本被切掉後的文化損失。xAI等公開說稀缺本要保留再掃描,是在輿論層與Anthropic路徑分邊。

對照圖書館數字化與谷歌圖書訴訟。行業從抓取網頁進入採購紙本:誰能把冷門非虛構變成無網頁污染的權重,誰就在專業問答上搶點。

這屬於產業鏈重構:二手書與工業掃描被接進模型數據管道。機制是先買斷流通中的孤本信息,再把紙本銷燬換成私有數字層。

ABAB News · 認知定律

  1. 網頁被模型寫髒以後,紙本長尾重新變成訓練資產

  2. 冷門學術書的價格,會先反映掃描需求再反映讀者

  3. 一本被切開,數字副本留下,流通中的那一冊就沒了