Y Combinator本周讨论GPU以外的算力路线
Y Combinator本周Paper Club把议题从常规模型训练转到替代计算,核心判断是当前人工智能被Transformer、反向传播和GPU绑在同一条路径上,算力效率开始见顶后,下一代机器不一定仍用传统数字硬件。
这场讨论按三条实验线展开。Francois Chaubard先讲为什么要离开反向传播,并介绍零阶优化方法SOMA。公开论文把SOMA定义为分片优化的模型组合:用两次前向和随机扰动估计更新,不计算梯度,因此非可微损失也能训练。他此前用零阶教材里的方法训练10亿参数LSTM做下一词预测,发现James Spall提出的SPSA表现最好,但梯度估计误差随模型规模线性上升,100亿参数模型所需扰动计算量会超过一次常规前向加反向。
光计算由Stanford博士后Ilker Oguz讲解。他用光在衍射层中的传播实现扩散模型,并指出光子在损耗和带宽上大约比电子高4个数量级,数据中心机架间传输和约99%的洲际数据传输已经是光。真正没普及的原因不是光本身算得慢,而是光和电子之间的转换仍耗能。他给出的下一里程碑是端到端光系统做到10亿参数规模,而不是再做一个小演示。
类脑芯片由Stanford电子工程博士、一家15亿美元基金的风险投资合伙人Alok Vasudev梳理。他把近期最可能落地的方向放在存算一体,并承认这只在宽定义下才算神经形态。更接近大脑的稀疏脉冲、事件驱动芯片仍缺大规模训练栈和客户。他同时指出皮层柱之间的强抑制让不同组装可以独立学习,这是芯片还没复刻的结构。
生物计算由Parasma首席执行官Sean Cole讲解,实验与Cortical Labs合作。大约20万个由成人供体细胞重编程而来的人类神经元铺在多电极阵列上,通过电刺激接收游戏状态,再把发放映射成移动和射击,在1993年的Doom里导航、找敌人和开枪。Cortical Labs的CL1售价约3.5万美元,单模块生命支持可维持细胞最多6个月,单元可容纳约80万个神经元。2022年该公司已在Neuron发表DishBrain,用人和啮齿类神经元培养物打Pong,当时耗时超过18个月。
这不是现货替代GPU的订单。买方仍是云厂商、模型实验室和主权算力项目,钱主要流向Nvidia GPU、高带宽内存和数据中心电力。事件驱动的是研究资金和早期风险资本在找第二条曲线:光互连公司卖带宽,存算一体芯片卖推理能效,生物计算目前卖的是实验平台和药物筛选接口。受益方是能接到现有GPU集群外围的互连和内存方案,承压方是还停在演示、没有训练栈和可复制产量的新基底。
人脑功率约20瓦,CL1把延迟从毫秒级压到亚毫秒,但Sean Cole把分布式推理列为生物计算最难的开放问题。光计算的论文级结果还没给出10亿参数端到端系统,零阶方法也还没证明能在同一随机种子上稳定复现。三条线目前都解释了GPU路径的瓶颈,还没有一条交出可替换训练集群的产能。
来源:公开信息
ABAB AI 解读
替代计算不是2026年才出现。Intel在2017年推出Loihi,IBM更早用TrueNorth做脉冲网络演示,两条线都没进入训练主流,因为Nvidia从2006年的CUDA把研究者、框架和集群合同锁在同一套软件上。Cortical Labs的前史是2022年DishBrain打Pong,2026年才把同一培养皿逻辑推进到Doom。光计算公司Lightmatter、Lightelligence卖的也主要是互连和特定矩阵运算,不是通用训练卡。
资本没有按论文热度搬家。训练预算仍进GPU、高带宽内存和电力,替代路线拿到的是基金里的期权仓位。Alok Vasudev所在的15亿美元基金把可制造的存算一体放在神经形态之前,等于承认买家要的是能插进现有机柜的能效,不是一张大脑示意图。Cortical Labs把CL1定在约3.5万美元并对外出售,卖的是实验仪器和药物接口,不是云算力合同。Sean Cole用一周写出编码器,说明软件接口比细胞本身更快变成产品。
可对照的是2010年代的量子计算宣传周期。IonQ、Rigetti先卖接入和研究合同,通用算力替代没有发生。当前位置仍是扩张前的验证期:光互连已经吃下机架间和洲际传输,计算本身还停在衍射层演示。神经形态停在芯片样品,生物计算停在20万到80万神经元的封闭腔室,和训练集群的参数规模不在同一量级。
这是技术替代的尝试,机制是旧路径的边际收益下降,而不是新路径已经更便宜。Transformer加反向传播把误差信号压进可微图,GPU把这张图变成可购买的小时数。零阶优化要绕开梯度,光计算要绕开电子损耗,生物神经元用约20瓦处理稀疏信号,三者都在拆同一组耦合。替代要发生,必须先有人买到可重复的训练吞吐,而不是再买到一次Doom通关录像。
ABAB News · 认知定律
路径被软件锁住之后,硬件替代只是论文。
演示能跑通,合同仍签给旧机柜。
效率见顶不等于新基底已经可买。