Y Combinator本週討論GPU以外的算力路線

Y Combinator本週Paper Club把議題從常規模型訓練轉到替代計算，核心判斷是當前人工智能被Transformer、反向傳播和GPU綁在同一條路徑上，算力效率開始見頂後，下一代機器不一定仍用傳統數字硬件。

這場討論按三條實驗線展開。Francois Chaubard先講爲什麼要離開反向傳播，並介紹零階優化方法SOMA。公開論文把SOMA定義爲分片優化的模型組合：用兩次前向和隨機擾動估計更新，不計算梯度，因此非可微損失也能訓練。他此前用零階教材裏的方法訓練10億參數LSTM做下一詞預測，發現James Spall提出的SPSA表現最好，但梯度估計誤差隨模型規模線性上升，100億參數模型所需擾動計算量會超過一次常規前向加反向。

光計算由Stanford博士後Ilker Oguz講解。他用光在衍射層中的傳播實現擴散模型，並指出光子在損耗和帶寬上大約比電子高4個數量級，數據中心機架間傳輸和約99%的洲際數據傳輸已經是光。真正沒普及的原因不是光本身算得慢，而是光和電子之間的轉換仍耗能。他給出的下一里程碑是端到端光系統做到10億參數規模，而不是再做一個小演示。

類腦芯片由Stanford電子工程博士、一家15億美元基金的風險投資合夥人Alok Vasudev梳理。他把近期最可能落地的方向放在存算一體，並承認這隻在寬定義下才算神經形態。更接近大腦的稀疏脈衝、事件驅動芯片仍缺大規模訓練棧和客戶。他同時指出皮層柱之間的強抑制讓不同組裝可以獨立學習，這是芯片還沒復刻的結構。

生物計算由Parasma首席執行官Sean Cole講解，實驗與Cortical Labs合作。大約20萬個由成人供體細胞重編程而來的人類神經元鋪在多電極陣列上，通過電刺激接收遊戲狀態，再把發放映射成移動和射擊，在1993年的Doom裏導航、找敵人和開槍。Cortical Labs的CL1售價約3.5萬美元，單模塊生命支持可維持細胞最多6個月，單元可容納約80萬個神經元。2022年該公司已在Neuron發表DishBrain，用人和齧齒類神經元培養物打Pong，當時耗時超過18個月。

這不是現貨替代GPU的訂單。買方仍是雲廠商、模型實驗室和主權算力項目，錢主要流向Nvidia GPU、高帶寬內存和數據中心電力。事件驅動的是研究資金和早期風險資本在找第二條曲線：光互連公司賣帶寬，存算一體芯片賣推理能效，生物計算目前賣的是實驗平臺和藥物篩選接口。受益方是能接到現有GPU集羣外圍的互連和內存方案，承壓方是還停在演示、沒有訓練棧和可複製產量的新基底。

人腦功率約20瓦，CL1把延遲從毫秒級壓到亞毫秒，但Sean Cole把分佈式推理列爲生物計算最難的開放問題。光計算的論文級結果還沒給出10億參數端到端系統，零階方法也還沒證明能在同一隨機種子上穩定復現。三條線目前都解釋了GPU路徑的瓶頸，還沒有一條交出可替換訓練集羣的產能。

來源：公開信息