AMD推出风冷MI350P抢占企业推理
AMD推出Instinct MI350P PCIe加速卡,以风冷、双槽PCIe 5.0形态切入现有企业服务器,主打无需液冷或重建机房即可部署大模型推理。
MI350P单卡配备144GB HBM3E高带宽内存,内存带宽最高4TB/s,并提供最高2.3 PFLOPS的稠密FP8矩阵计算性能。144GB显存可容纳约260亿参数模型的FP16权重,或通过量化支持更大模型,但“单卡支持2600亿参数”需取决于量化精度、上下文长度、KV Cache及是否采用CPU或多卡卸载。
MI350P是被动散热、双槽PCIe 5.0 x16加速器,AMD将其定位为可接入传统企业服务器的产品,避免客户直接进入依赖液冷、专用机架和高密度网络的AI工厂级部署。
“Token吞吐量超过竞品4倍”并非AMD已公开、可独立复现的单卡结论。Liqid基于30张MI350P的UltraStack 30系统称,其方案目标是较“传统多服务器设计”实现最高3.7倍Token吞吐量、2.1倍每美元Token、1.8倍每瓦Token和65%更低部署成本;基线系统、模型、推理引擎、批处理和测量方法尚未完整披露。
AMD的更高端路线是Helios机架级平台:72张MI455X GPU可提供最高2.9 exaFLOPS FP4算力、31TB HBM4、260TB/s scale-up带宽及43TB/s scale-out带宽,面向大型推理、训练和微调。MI350P则服务无法或不愿进入大规模液冷集群的企业本地部署市场。
市场机制上,买方是希望在银行、制造、医疗、政府及大型企业内部运行模型、但受限于现有机房供电、散热、合规与数据本地化要求的IT部门;卖方是AMD、服务器OEM、系统集成商、推理软件、模型供应商及内存网络部件厂商。MI350P以“兼容既有机架”降低部署门槛,可能把一部分企业推理预算从Nvidia高密度GPU集群和公有云API迁往本地PCIe服务器;但ROCm软件成熟度、企业工具链、模型优化、渠道供货与真实每Token成本,仍决定其能否撼动Nvidia的高端推理份额。
来源:公开信息
ABAB AI 解读
AMD与Nvidia的竞争长期不是单卡峰值算力之争,而是软件生态、供应链与数据中心形态之争。Nvidia依靠CUDA、DGX、HGX、NVLink和网络产品,把GPU从服务器组件升级为整套AI工厂标准;AMD早期Instinct产品虽具备高带宽内存与计算能力,但长期面对ROCm兼容性、开发者工具和集群集成不足的问题。MI350P选择PCIe与风冷,避开在超大规模液冷集群正面复制Nvidia的路径,转而切入企业已有服务器的升级需求。
资本路径上,企业部署AI通常要在“购买GPU并自建”与“调用云模型API”之间选择。高端液冷集群需要采购机架、网络、电力、冷却、GPU、存储及运维服务,资本开支巨大;MI350P试图把采购对象缩小到能插入现有服务器的加速卡和配套软件。若客户能用较低改造成本在本地运行中等规模模型,其支出将从持续云Token费用转为一次性硬件折旧、软件支持和内部运维,受益者包括服务器OEM、企业集成商与边缘AI软件商。
历史类比是x86服务器击败专用小型机的扩散路径。企业并非总是购买性能最强的系统,而是优先购买能被现有机房、电源、运维人员、采购流程和应用栈吸收的系统。MI350P的战略在于把AI算力从“新建AI工厂”降级为“常规服务器升级件”;这更接近企业GPU普及,而非挑战训练集群的最高性能纪录。其挑战是,大模型推理不只受显存限制,还受模型量化、KV Cache、互连、并发请求与软件内核效率影响。
本质属于产业链重构。AI基础设施此前向拥有液冷数据中心、电力接入和大规模GPU采购能力的云厂商集中;风冷PCIe卡若能提供足够的推理成本效益,就会把部分算力重新分发给企业机房、行业云和本地系统集成商。技术门槛从“能否训练最大模型”转为“能否在既有资产上可靠、合规、低成本地运行有用模型”。但只要软件栈和开发者工具仍由Nvidia主导,硬件兼容性本身还不足以实现真正的份额迁移。
ABAB News · 认知定律
企业买的不是GPU,而是无需重建的能力
显存决定能否运行,软件决定能否赚钱
AI扩散的终点,不是机房而是现有机房