纽约客详述Anthropic拆书扫描补长尾资料,披露更多细节
《纽约客》补充法院已披露的Anthropic拆书扫描细节:内部项目Project Panama被写成“破坏性扫描世界上所有书籍”,通过拆装订、裁页、扫描后丢弃纸本,把文本送入Claude训练。
今年年初美国二手商在Alibris等渠道接到异常订单:布鲁克林一书商往年全年卖不到十本,突然单次十几本,专挑冷门,均价约75至80美元,买家名为Green Parrot Project、Red Sparrow Project一类有限责任公司。一书商在书中放入定位卡,包裹抵达伊利诺伊州Addison的ARC Document Solutions工业扫描厂;该公司宣传部分中心全天运转,单客户月处理量可达“足球场大小、箱子叠四层”。杂志从书商收集600余本疑似卖给人工智能公司的书,多为1970至2010年代,不少首印仅约千册;出现最多的十家出版社里八家为学术社,样本约三分之一为学术出版物,含法律、历史、文学批评与1972年市政污水污泥利用手册。研究员Mycal Tucker作证称非虚构通常比小说更有训练价值,可提升哲学、天文学等表现。
早期可向批发商按批量采购,大路货之后转向二手网站补互联网与现成库缺失的长尾。Anthropic称不收购古董收藏级稀缺本,区分“罕见有价值”与难找的专业参考书。相关版权诉讼文件早先披露采购与扫描规模以百万册计,公司曾寻求供应商在约六个月内处理数十万至两百万册。另有报道称案件和解金额约15亿美元量级,法官曾就内部使用数字副本是否构成合理使用作出认定。
市场机制上,这是纸本长尾对网页语料的补货。受益方是二手冷门书与工业扫描厂;承压方是印量极低的学术库存与必须为训练数据付版权的出版方。资金从模型公司采购预算进入书商与扫描外包,纸本在扫描后退出流通。
600本是抽样,不是全部书单。定位卡证明物流终点,不自动证明每一单都进入同一模型。
来源:公开信息
ABAB AI 解读
网页语料被模型自己污染后,1970到2010年的纸本变成干净文本。破坏性扫描用空间换速度:一本变一堆图,再变token。壳公司下单是为了把需求从批发吨位降到“缺哪本补哪本”。学术社占比高,说明要的是论证结构与术语,不是畅销叙事。污泥手册被买走,证明长尾标准是“网上没有干净版”,不是“有人读”。
资本把百万册采购写成训练质量,把和解写成事后许可证。扫描厂24小时产能是这条供应链的真实瓶颈。合理使用认定若只覆盖内部数字副本,不覆盖纸本被切掉后的文化损失。xAI等公开说稀缺本要保留再扫描,是在舆论层与Anthropic路径分边。
对照图书馆数字化与谷歌图书诉讼。行业从抓取网页进入采购纸本:谁能把冷门非虚构变成无网页污染的权重,谁就在专业问答上抢点。
这属于产业链重构:二手书与工业扫描被接进模型数据管道。机制是先买断流通中的孤本信息,再把纸本销毁换成私有数字层。
ABAB News · 认知定律
网页被模型写脏以后,纸本长尾重新变成训练资产
冷门学术书的价格,会先反映扫描需求再反映读者
一本被切开,数字副本留下,流通中的那一册就没了