返回快訊

谷歌DeepMind推出EmbeddingGemma 2,這是其首個開放、原生多模態嵌入模型

谷歌DeepMind推出EmbeddingGemma 2,這是其首個開放、原生多模態嵌入模型,權重已在Hugging Face與Kaggle公開,採用Apache 2.0許可,可商用微調。模型建立在Gemma 4架構上,把文本、代碼、圖像、視頻和音頻映射進同一個768維向量空間。

完整形態共740m參數,可按需拆裝:文本與代碼核心270m(其中骨幹130m、嵌入層140m),視覺編碼器170m,音頻編碼器300m。開發者可只加載文本,或組合成440m、570m、740m四檔。上下文窗口8192 token,覆蓋100多種語言,音頻側可處理約5.5分鐘錄音。

量化後在Pixel 11 Pro上,純文本權重活躍內存約191mb,完整多模態約567mb。輸出支持Matryoshka截斷,可從768維降到512、256或128維,谷歌稱本地向量庫存儲成本最多可降到約六分之一。它與Gemma 4共用文本分詞器和音頻編碼器,兩端側聯跑時合計內存更低。

相對上一代純文本EmbeddingGemma,代碼檢索MTEB從68.76升至78.68,提高9.92分,約14%;多語言文本MTEB v2爲61.36,前代爲61.15。圖像MIEB lite均值64.64,視頻MMEB v2命中率50.67,音頻MSEB檢索69.54,MAEB均值49.39。谷歌稱它在10億參數以下多模態嵌入裏質量領先,並超過部分體量兩倍以上的專用模型。

上一代EmbeddingGemma下載已超過2000萬次,主要用於端側搜索和隱私優先的檢索增強生成。新模型可按語音備忘定位視頻片段,或用文本檢索數小時音頻,數據不必離設備。部署通道還包括Ollama、llama.cpp的GGUF和LiteRT,瀏覽器側可走transformers.js或WebGPU。

端側檢索把購買從雲端嵌入API轉向開源權重和本地算力。應用開發者、終端廠商和隱私敏感行業是直接使用者,雲端嵌入服務和更大參數的專用模型承壓。事件驅動來自Gemma 4開放權重體系的延伸,資金與流量流向Hugging Face權重、端側推理框架和本地向量庫,而不是按次調用的雲API。

來源:公開信息

ABAB AI 解讀

谷歌嵌入路線是先收雲端、再放端側。2025年9月推出的EmbeddingGemma是308m純文本模型,主打500m以下MTEB領先,下載超過2000萬次;更早的通用嵌入能力集中在Gemini Embedding這類付費API,輸出可達3072維。EmbeddingGemma 2把文本核心壓到270m,卻補上視覺和音頻編碼器,等於用開放權重補上前代不能做的跨模態檢索。Gemma系列本身也有過許可收緊爭議,開發者曾質疑“開放”與商用條款之間的縫,此次改用Apache 2.0是在回應這條歷史摩擦。

資本路徑不在併購,而在把檢索層從雲賬單裏拆出來。谷歌自己的Gemini Embedding 2仍是付費API,沒有公開端側內存數據;EmbeddingGemma 2則把權重、GGUF、LiteRT一併放出,並明確與Gemma 4共用分詞器和音頻編碼器,方便同一條端側流水線裏“小模型檢索、大模型推理”。動機是守住Android、Pixel和Chrome的默認檢索入口:開發者若在手機上建好向量庫,後續生成調用仍更容易留在Gemma或Gemini,而不是流向外部嵌入服務。

可比對象要分開看。阿里Qwen3-VL-Embedding-2B約20億參數,自報MMEB-v2約73.2,沒有音頻;研究向的LCO-Embedding-Omni-3B骨幹更大,才覆蓋音視頻。體量接近的歷史對照是上一代EmbeddingGemma對近兩倍參數文本模型的追平。行業位置已過“能不能嵌入”,進入“檢索是否必須上雲”的控制階段:10億參數以下、可截斷維度、可離線,正在把RAG的入口從API商變成設備側組件。

這是定價權轉移,不是單純技術替代。嵌入按token計費時,長音頻、代碼庫和視頻幀都是雲廠商的用量;一旦768維可截到128維、存儲降到約六分之一、量化後全模態約567mb就能跑在手機上,檢索的邊際成本回到設備和電費。發生機制是小模型質量跨過可用線,同時開源許可允許廠商預裝。雲API仍拿得住閉源質量和超長上下文,但默認的隱私檢索和代碼庫索引,定價權開始從調用次數轉到誰控制終端。

ABAB News · 認知定律

  1. 檢索免費之後,生成纔開始收費。

  2. 小模型贏的不是參數,是離數據更近。

  3. 開放權重是入口,閉源API是收銀臺。