id Software聯合創始人：LLM可用作“近似無損”海量互聯網檔案的壓縮裝置
id Software聯合創始人John Carmack指出，雖然業界普遍不鼓勵大型語言模型照搬訓練數據，但“用LLM近乎無損地壓縮整個互聯網檔案級語料庫”是一個極具吸引力的技術方向。他將當前流行的“完美壓縮”競賽（如Hutter Prize，僅針對1GB文本）與PB級數據壓縮對比，提出：在規模和精度要求不同的條件下，AI驅動的壓縮方法會呈現出完全不同的權衡。
Carmack的思路本質上是將大型語言模型視爲“有損+可重建”的壓縮引擎：模型在訓練階段已將原始文本轉化爲內部參數與上下文表徵，理論上可用來重建接近原始內容的版本，但不再需要嚴格還原每一位字節。這種模式若在幾十PB級的互聯網存檔上驗證，將成爲數據壓縮與AI記憶之間的一次深度耦合。
來源：公開信息
ABAB AI 解讀
Carmack的观点揭示了一条被广泛忽略的“AI压缩经济学”逻辑：在极端压缩与精确可逆之间，未来很可能会出现“高保真但可压缩”的中间层。对于互联网档案、新闻历史甚至代码仓库而言，存储成本与访问效率之间的平衡，未必需要严格“bit级重建”，而只需在可接受误差下重建内容语义与可读版本。
LLM在此场景下，可被看作“语义压缩核”——它将原始文本降维为可生成的模型参数与注意力结构，在解压端通过“重新生成”恢复内容，而非“硬性解压”。这与传统压缩算法（如gzip、LZMA）从“移除冗余字节”出发完全不同，它是从“语义重构”出发，更适合处理大规模、非结构化文本与文档集合。
在历史与知识结构维度，这一思路甚至暗示了一种“数字图书馆形态演进”：未来的档案存储系统可能不再依赖“完整文件存档”，而是依赖“模型+元数据+关键校验块”结构，用压缩空间换取检索与重建效率。Carmack的提示，不仅是对压缩竞赛的重新思考，更是对整个人类数字文明存储形态的底层追问。