返回快讯

Meta发布Muse实时语音转写模型,每小时0.18美元,模型训练覆盖70多种语言

Meta Superintelligence Labs发布Muse Voice Transcribe,将实时语音识别、说话人分离和语句结束检测整合进单一模型,原生支持超1小时音频及20人以上多人对话,无需额外后处理。

在Artificial Analysis的英语流式转写基准中,Muse Voice Transcribe最终文本词错误率为3.1%,排名第一;GPT Live Transcribe为3.9%,Gemini 3.5 Transcribe Live为4.0%。词错误率越低,代表模型输出与人工参考文本的词级差异越小。

Muse在用户停止说话后约0.16秒输出最终文本。传统实时转写往往需要预设固定等待窗口,窗口短则更快但容易截断句子,窗口长则准确但延迟上升;Muse以每80毫秒音频块为输入,通过模型自主判断继续收听还是结束当前话语并提交转写结果。

Meta称其以强化学习同时优化转写准确率与端点检测延迟。简单、上下文足够明确的词可以较早确认;存在歧义、需要等待后续音频才能分辨的词,模型会保留更多听取时间。这使终端检测从固定规则变为按语音内容动态分配计算与等待预算。

模型训练覆盖70多种语言,其中25种在首发时经过重点验证,包含普通话、英语、粤语、日语、韩语、西班牙语、阿拉伯语、印地语、泰语、越南语和葡萄牙语等。Muse还原生支持code-switching,可在句与句之间或一句话内识别中英文等多语言混说。

Muse已接入Meta Model API、Meta AI for Mac和Muse Code。API型号为muse-voice-transcribe-1.0,定价为每1,000音频分钟3美元,即每小时0.18美元;当前属于托管API服务,Meta未开放模型权重。

市场机制上,买方是构建会议记录、实时客服、语音代理、采访转写、开发者语音输入和多语言内容工具的企业与开发者;卖方包括Meta、OpenAI、Google、ElevenLabs、Deepgram、AssemblyAI和Cartesia等语音基础设施提供商。资金会从人工听录、后处理标注及多模型拼接管线,流向低延迟语音模型、API调用、会议智能、客服自动化与语音代理;能够把准确转写、说话人身份和实时端点检测统一交付的平台受益,依赖人工速记或高延迟批处理的服务商承压。

来源:公开信息

ABAB AI 解读

Meta发布Muse Voice Transcribe的关键不只是新增语音转写功能,而是首次将其称为Meta Superintelligence Labs的实时音频感知模型。过去语音应用常把ASR、VAD、说话人分离、标点恢复和后处理组合成流水线:一个模型把声音转为文字,另一个模块判断停顿,第三个模块识别不同说话人。Muse将三项核心任务放在同一自回归多模态模型内处理,减少跨模型传递造成的延迟、错误累积和工程集成复杂度。

资本路径上,每小时0.18美元的API价格让语音转写从人工服务转向可按分钟计量的云基础设施。企业将音频流发送至Meta API,Meta以模型推理、GPU集群、实时流式调度和语言优化换取用量收入;客户则把原本投入人工转写、客服质检、会议纪要和录音后处理的预算,迁移至API、产品集成和后续工作流自动化。Muse接入Meta AI for Mac和Muse Code,说明Meta不仅出售语音能力,也用自有桌面AI与开发工具建立分发入口和内部用量。

历史上,Twilio将电话和短信基础设施封装为API,Stripe将支付能力封装为API,OpenAI Whisper则使高质量语音转写成为开发者可调用的基础模型能力。Muse的差异在于将竞争焦点推向“实时、多语言、多人和低延迟”场景:会议助手需要识别谁在说话,语音代理需要快速判断用户是否说完,双语家庭或全球客服需要理解句内语言切换。ElevenLabs、Deepgram和AssemblyAI已在实时语音市场布局,Meta以3.1%的基准WER和0.16秒最终输出延迟切入,处于从通用转写向实时交互基础设施升级的阶段。

这属于技术替代。被替代的不是人类语言本身,而是语音进入软件系统前所需的等待、人工记录与多模块处理。过去一段多人会议录音要先完成转写、再识别发言者、再人工整理行动项;当模型能流式识别、标注说话人并在0.16秒内确认结束,语音可以直接成为客服系统、代码工具、会议软件和AI代理的实时输入。真正的新壁垒不只是低WER,而是把音频感知无缝接入下一步行动:生成纪要、更新CRM、触发工作流、编写代码或由语音代理继续对话。

ABAB News · 认知定律

  1. 语音转成文字,延迟决定交互价值

  2. 准确识别内容,分清是谁说更值钱

  3. 模型统一感知,工作流才能自动执行