法國AI公司Mistral推出萬億參數開源模型ML4
法國公司Mistral週二放出Mistral Large 4公開預覽，簡稱ML4，代號le Chonk。官方稱這是1萬億參數、推理時激活490億參數的原生多模態模型，也是公司至今最大的模型。預覽接口已在Mistral Studio開放，權重計劃本月底放出。
公司把強項放在代碼、代理流程和多模態理解，並稱在網絡安全、製造、金融等垂直任務上突出。WIRED引首席科學家Guillaume Lample說，其他實驗室不會在這些領域投入同樣注意力。Mistral稱它已能競爭全球最強開源模型，並顯著超過美國和歐洲已有的開源權重模型。
訓練在Mistral位於歐洲的自有數據中心完成，用的是3800塊英偉達Grace Blackwell顯卡，公開預覽也由同一套設施提供。VentureBeat稱訓練從零開始，歷時約兩個月。科技副總裁Pierre Stock告訴TechCrunch，算力約爲中國同行的二分之一到三分之一，也明顯少於閉源對手。權重放出前會先和政府及可信夥伴做安全測試，目標是能用於防禦，而不是惡意攻擊。
訓練數據裏有大量多語言內容，覆蓋160多種語言，包括歐盟全部官方語言。模型將在全球多個區域提供，其中歐洲部署由Mistral端到端運營，不依賴其他數字服務商，並受歐洲法律約束。權重預計採用Mistral自有許可，公司尚未公佈接口價格。
9月Mistral完成30億歐元D輪，投後估值超過210億歐元。三星電子領投，EQT管理的Scaleup Europe Fund和PSG Equity聯合領投，a16z、英偉達、Salesforce Ventures、Advent和BlackRock也參與。C輪由ASML領投。資金用途包括擴算力、建基礎設施和加速商業化。
買方是要歐洲部署和開源權重的企業、安全負責人和政府，賣方是Mistral用自有機房提供預覽。這是模型預覽，不是權重已公開。算力支出留在歐洲數據中心，三星和ASML所在的芯片鏈受益於垂直場景。仍要等閉源接口、或依賴中國開源權重的歐洲機構承壓。
來源：公開信息
ABAB AI 解讀
Mistral 2023年中成立，一直被放在歐洲對標OpenAI和Anthropic的位置。真正把估值抬過210億歐元的是9月三星領投的30億歐元D輪。C輪領投方ASML做光刻，D輪領投方三星做存儲和芯片，ML4隨後把芯片設計、製造和網絡安全寫成優化場景。
3800塊Grace Blackwell放在歐洲自有機房，預覽也走同一套設施。權重要到本月底、安全測試之後才放。Stock說這段窗口只給可信夥伴和政府，是在開源前先把網絡防禦客戶鎖住。模型總參數1萬億，激活只有490億，用稀疏結構把推理成本壓下來。
路徑接近Meta用Llama把開源權重做成企業默認，也接近深度求索用較低算力打出開源模型。差別是Mistral把部署管轄權留在歐洲法律之下，並讓三星、ASML進股東。行業處在開源權重和閉源接口分裂的階段，歐洲要的是能審計、能本地跑的第三選項。
本質是產業鏈重構。閉源模型按接口收費，開源權重按自有算力收費。ML4先用預覽接口占住政府和安全客戶，再在10月底交權重。融資買的是歐洲機房和芯片股東，模型賣的是不把關鍵任務交給美國閉源或中國開源的選項。
ABAB News · 認知定律
權重晚放，客戶先鎖。
總參數很大，激活的纔算成本。
主權不是口號，是機房在誰手裏。