Chamath Palihapitiya：当前AI硬件危机核心不是训练而是推理

Chamath Palihapitiya转发Google研究员Xiaoyu Ma与图灵奖得主David Patterson的论文（IEEE Computer 2026年接受），直指当前AI硬件危机核心不是训练而是推理（inference），尤其是decode阶段的内存瓶颈。论文论证GPU从2012到2022年FLOPS增长80倍，但内存带宽仅增17倍，HBM每GB成本不降反升，导致decode内存受限而非计算受限，整个行业用训练芯片强行跑推理已不可持续。

他强调Groq的LPU（Language Processing Unit）只是“开胃菜”，真正突破在于实现“cheap, abundant decode”：高带宽闪存（512GB栈达HBM级带宽、10倍内存密度）、近内存处理、3D内存-逻辑堆叠与低延迟互连等硬件转向。这些方向能解决MoE爆炸内存、长上下文KV缓存、多模态输入与RAG注入等五大趋势带来的推理成本爆炸。OpenAI去年营收37亿美元却亏50亿美元，主要就出血在服务每个token的巨额成本上。

这一观点凸显AI硅从高性能训练芯片向低成本、高吞吐推理专用架构的范式转变，Groq虽早被Nvidia高价收购其技术与人才，但论文描绘的路线图更广，预示下一波专用decode硅将大幅降低推理边际成本，推动AI从实验室走向真正大众化与实时应用。多家英文媒体与arXiv/IEEE确认论文细节一致，Chamath原帖引发芯片与推理社区热议，认为这标志“inference-first”时代真正开启。

来源：公开信息