AMD推出風冷MI350P搶佔企業推理
AMD推出Instinct MI350P PCIe加速卡,以風冷、雙槽PCIe 5.0形態切入現有企業服務器,主打無需液冷或重建機房即可部署大模型推理。
MI350P單卡配備144GB HBM3E高帶寬內存,內存帶寬最高4TB/s,並提供最高2.3 PFLOPS的稠密FP8矩陣計算性能。144GB顯存可容納約260億參數模型的FP16權重,或通過量化支持更大模型,但“單卡支持2600億參數”需取決於量化精度、上下文長度、KV Cache及是否採用CPU或多卡卸載。
MI350P是被動散熱、雙槽PCIe 5.0 x16加速器,AMD將其定位爲可接入傳統企業服務器的產品,避免客戶直接進入依賴液冷、專用機架和高密度網絡的AI工廠級部署。
“Token吞吐量超過競品4倍”並非AMD已公開、可獨立復現的單卡結論。Liqid基於30張MI350P的UltraStack 30系統稱,其方案目標是較“傳統多服務器設計”實現最高3.7倍Token吞吐量、2.1倍每美元Token、1.8倍每瓦Token和65%更低部署成本;基線系統、模型、推理引擎、批處理和測量方法尚未完整披露。
AMD的更高端路線是Helios機架級平臺:72張MI455X GPU可提供最高2.9 exaFLOPS FP4算力、31TB HBM4、260TB/s scale-up帶寬及43TB/s scale-out帶寬,面向大型推理、訓練和微調。MI350P則服務無法或不願進入大規模液冷集羣的企業本地部署市場。
市場機制上,買方是希望在銀行、製造、醫療、政府及大型企業內部運行模型、但受限於現有機房供電、散熱、合規與數據本地化要求的IT部門;賣方是AMD、服務器OEM、系統集成商、推理軟件、模型供應商及內存網絡部件廠商。MI350P以“兼容既有機架”降低部署門檻,可能把一部分企業推理預算從Nvidia高密度GPU集羣和公有云API遷往本地PCIe服務器;但ROCm軟件成熟度、企業工具鏈、模型優化、渠道供貨與真實每Token成本,仍決定其能否撼動Nvidia的高端推理份額。
來源:公開信息
ABAB AI 解讀
AMD與Nvidia的競爭長期不是單卡峯值算力之爭,而是軟件生態、供應鏈與數據中心形態之爭。Nvidia依靠CUDA、DGX、HGX、NVLink和網絡產品,把GPU從服務器組件升級爲整套AI工廠標準;AMD早期Instinct產品雖具備高帶寬內存與計算能力,但長期面對ROCm兼容性、開發者工具和集羣集成不足的問題。MI350P選擇PCIe與風冷,避開在超大規模液冷集羣正面複製Nvidia的路徑,轉而切入企業已有服務器的升級需求。
資本路徑上,企業部署AI通常要在“購買GPU並自建”與“調用雲模型API”之間選擇。高端液冷集羣需要採購機架、網絡、電力、冷卻、GPU、存儲及運維服務,資本開支巨大;MI350P試圖把採購對象縮小到能插入現有服務器的加速卡和配套軟件。若客戶能用較低改造成本在本地運行中等規模模型,其支出將從持續雲Token費用轉爲一次性硬件折舊、軟件支持和內部運維,受益者包括服務器OEM、企業集成商與邊緣AI軟件商。
歷史類比是x86服務器擊敗專用小型機的擴散路徑。企業並非總是購買性能最強的系統,而是優先購買能被現有機房、電源、運維人員、採購流程和應用棧吸收的系統。MI350P的戰略在於把AI算力從“新建AI工廠”降級爲“常規服務器升級件”;這更接近企業GPU普及,而非挑戰訓練集羣的最高性能紀錄。其挑戰是,大模型推理不只受顯存限制,還受模型量化、KV Cache、互連、併發請求與軟件內核效率影響。
本質屬於產業鏈重構。AI基礎設施此前向擁有液冷數據中心、電力接入和大規模GPU採購能力的雲廠商集中;風冷PCIe卡若能提供足夠的推理成本效益,就會把部分算力重新分發給企業機房、行業雲和本地系統集成商。技術門檻從“能否訓練最大模型”轉爲“能否在既有資產上可靠、合規、低成本地運行有用模型”。但只要軟件棧和開發者工具仍由Nvidia主導,硬件兼容性本身還不足以實現真正的份額遷移。
ABAB News · 認知定律
企業買的不是GPU,而是無需重建的能力
顯存決定能否運行,軟件決定能否賺錢
AI擴散的終點,不是機房而是現有機房