ElevenLabs发布v4与Turbo语音模型
ElevenLabs推出Eleven v4与低延迟版Eleven v4 Turbo,官方将其定位为目前最具情绪表现力的文本转语音模型,并同步开放ElevenAgents、ElevenCreative与ElevenAPI。
v4把表演写进脚本:可在台词中嵌入情绪、停顿、笑声、耳语、动作和环境音,例如laughs、said angrily in French accent、light rain、phone buzzing,也可用自然语言指定一句该怎么说。盲测中约75%听众更偏向其表现力与自然度,Artificial Analysis语音榜将其排在首位,Elo约1319,高于Cartesia Sonic 3.6的1276和Gemini 3.8 Flash TTS的1267。
克隆侧,Instant Voice Clone约10秒录音即可建声;Professional Voice Clone在v3中一度不可用,现已回到v4并覆盖完整情绪范围。context stitching负责把不同生成片段的节奏与状态接上,speaker stability则尽量让同一角色在旁白、对白和返工片段里不跑声。单次生成上限提到1万字符,高于v3的5000字符。
同一脚本可排多个说话者、接话关系和音效,模型按整场语境生成回应,而不是把孤立句子拼起来。发音用ipa和发音词典锁定姓名、缩写和专业词。语言从v3的70多种扩到90多种,官方点名粤语、蒙古语和奥里亚语,质量提升最明显的是日语、巴西葡萄牙语、普通话和粤语;演示还用过加泰罗尼亚语旁白加音效标签。
Turbo把同一套表现力压进实时对话:中位推理时延约100ms,中位首次出声约150ms,支持双向流式,可在大模型还在吐字时就开始出声。官方对照给出Cartesia Sonic 3.6约262ms、OpenAI GPT-4o mini TTS约814ms。设计场景包括医疗术语客服、游戏里带俚语的快嘴角色,以及升级、对峙和等待时的不同语气。企业通话已占其业务一半以上。
市场机制上,买方是要上线语音代理的企业和要做有声书、广告、配音的内容团队;卖方是把「快」和「像人」拆成两个产品的语音模型商。事件驱动明确:把延迟压到人类对话停顿以下,才能把情绪模型卖进呼叫中心。资金流向api按字符计费,推广期v4约每百万字符22美元、Turbo约11美元,目录价分别约80美元和40美元。受益的是ElevenLabs的代理与创意套件;承压的是Cartesia、Google Gemini TTS、OpenAI实时语音,以及仍靠单调合成撑客服的外包坐席。
补充层面,v4去掉Style和Speed滑条且不支持ssml,控制改走稳定度、相似度和音效标签。克隆需声主验证同意,生成音频带其语音分类器标记。模型已进免费档,付费套餐起步约每月6美元。
来源:公开信息
ABAB AI 解读
ElevenLabs由Mati Staniszewski与Piotr Dabkowski带队,路径一直是先把「像人」做成创作工具,再把同一套声音塞进企业通话。v3解决的是标签演戏,v4要解决的是长文本不断戏、短样本能克隆、pvc重新上线。华沙预热后直接双模型上架,说明他们不再把质量和时延当成同一条产品线,而是把创作和生产通话拆开卖。
资本调动很具体:一边用10秒克隆和90多种语言降低内容侧切换成本,一边用100ms级推理把语音代理嵌进llm循环。企业通话已过半收入,意味着下一美元不是来自网红配音,而是来自医疗、客服、游戏里按分钟计的对话。促销把api打到目录价约三折,目的是在Cartesia、Gemini和OpenAI还在比首包时延时,先把模型id写进客户代码。
类比不是再做一个Siri。更接近NVIDIA把同一架构切成训练卡和推理卡:v4是成片,Turbo是通话。行业阶段从「能说话」进入「能演完一场并接住下一句」。谁还只卖单调客服腔,谁就在和外包座席抢同一条下行通道。
结构判断属于技术替代。机制是:当脚本能直接规定笑、停、吵、雨声,且首包时延低于人类换气,语音就不再是模型输出的附属波形,而成了可编排的演出层。坐席、配音棚和本地化工作室的计费单位,从小时人声变成字符和毫秒。替代发生,是因为控制权从麦克风后的人,转到了写标签的人。
ABAB News · 认知定律
延迟低于呼吸,机器才进入对话
10秒克隆之后,声音变成可复制资产
能演戏的模型,吃掉只会念稿的人工