返回快訊

Meta發佈Muse實時語音轉寫模型,每小時0.18美元,模型訓練覆蓋70多種語言

Meta Superintelligence Labs發佈Muse Voice Transcribe,將實時語音識別、說話人分離和語句結束檢測整合進單一模型,原生支持超1小時音頻及20人以上多人對話,無需額外後處理。

在Artificial Analysis的英語流式轉寫基準中,Muse Voice Transcribe最終文本詞錯誤率爲3.1%,排名第一;GPT Live Transcribe爲3.9%,Gemini 3.5 Transcribe Live爲4.0%。詞錯誤率越低,代表模型輸出與人工參考文本的詞級差異越小。

Muse在用戶停止說話後約0.16秒輸出最終文本。傳統實時轉寫往往需要預設固定等待窗口,窗口短則更快但容易截斷句子,窗口長則準確但延遲上升;Muse以每80毫秒音頻塊爲輸入,通過模型自主判斷繼續收聽還是結束當前話語並提交轉寫結果。

Meta稱其以強化學習同時優化轉寫準確率與端點檢測延遲。簡單、上下文足夠明確的詞可以較早確認;存在歧義、需要等待後續音頻才能分辨的詞,模型會保留更多聽取時間。這使終端檢測從固定規則變爲按語音內容動態分配計算與等待預算。

模型訓練覆蓋70多種語言,其中25種在首發時經過重點驗證,包含普通話、英語、粵語、日語、韓語、西班牙語、阿拉伯語、印地語、泰語、越南語和葡萄牙語等。Muse還原生支持code-switching,可在句與句之間或一句話內識別中英文等多語言混說。

Muse已接入Meta Model API、Meta AI for Mac和Muse Code。API型號爲muse-voice-transcribe-1.0,定價爲每1,000音頻分鐘3美元,即每小時0.18美元;當前屬於託管API服務,Meta未開放模型權重。

市場機制上,買方是構建會議記錄、實時客服、語音代理、採訪轉寫、開發者語音輸入和多語言內容工具的企業與開發者;賣方包括Meta、OpenAI、Google、ElevenLabs、Deepgram、AssemblyAI和Cartesia等語音基礎設施提供商。資金會從人工聽錄、後處理標註及多模型拼接管線,流向低延遲語音模型、API調用、會議智能、客服自動化與語音代理;能夠把準確轉寫、說話人身份和實時端點檢測統一交付的平臺受益,依賴人工速記或高延遲批處理的服務商承壓。

來源:公開信息

ABAB AI 解讀

Meta發佈Muse Voice Transcribe的關鍵不只是新增語音轉寫功能,而是首次將其稱爲Meta Superintelligence Labs的實時音頻感知模型。過去語音應用常把ASR、VAD、說話人分離、標點恢復和後處理組合成流水線:一個模型把聲音轉爲文字,另一個模塊判斷停頓,第三個模塊識別不同說話人。Muse將三項核心任務放在同一自迴歸多模態模型內處理,減少跨模型傳遞造成的延遲、錯誤累積和工程集成複雜度。

資本路徑上,每小時0.18美元的API價格讓語音轉寫從人工服務轉向可按分鐘計量的雲基礎設施。企業將音頻流發送至Meta API,Meta以模型推理、GPU集羣、實時流式調度和語言優化換取用量收入;客戶則把原本投入人工轉寫、客服質檢、會議紀要和錄音後處理的預算,遷移至API、產品集成和後續工作流自動化。Muse接入Meta AI for Mac和Muse Code,說明Meta不僅出售語音能力,也用自有桌面AI與開發工具建立分發入口和內部用量。

歷史上,Twilio將電話和短信基礎設施封裝爲API,Stripe將支付能力封裝爲API,OpenAI Whisper則使高質量語音轉寫成爲開發者可調用的基礎模型能力。Muse的差異在於將競爭焦點推向“實時、多語言、多人和低延遲”場景:會議助手需要識別誰在說話,語音代理需要快速判斷用戶是否說完,雙語家庭或全球客服需要理解句內語言切換。ElevenLabs、Deepgram和AssemblyAI已在實時語音市場佈局,Meta以3.1%的基準WER和0.16秒最終輸出延遲切入,處於從通用轉寫向實時交互基礎設施升級的階段。

這屬於技術替代。被替代的不是人類語言本身,而是語音進入軟件系統前所需的等待、人工記錄與多模塊處理。過去一段多人會議錄音要先完成轉寫、再識別發言者、再人工整理行動項;當模型能流式識別、標註說話人並在0.16秒內確認結束,語音可以直接成爲客服系統、代碼工具、會議軟件和AI代理的實時輸入。真正的新壁壘不只是低WER,而是把音頻感知無縫接入下一步行動:生成紀要、更新CRM、觸發工作流、編寫代碼或由語音代理繼續對話。

ABAB News · 認知定律

  1. 語音轉成文字,延遲決定交互價值

  2. 準確識別內容,分清是誰說更值錢

  3. 模型統一感知,工作流才能自動執行