返回快訊

ElevenLabs發佈v4與Turbo語音模型

ElevenLabs推出Eleven v4與低延遲版Eleven v4 Turbo,官方將其定位爲目前最具情緒表現力的文本轉語音模型,並同步開放ElevenAgents、ElevenCreative與ElevenAPI。

v4把表演寫進腳本:可在臺詞中嵌入情緒、停頓、笑聲、耳語、動作和環境音,例如laughs、said angrily in French accent、light rain、phone buzzing,也可用自然語言指定一句該怎麼說。盲測中約75%聽衆更偏向其表現力與自然度,Artificial Analysis語音榜將其排在首位,Elo約1319,高於Cartesia Sonic 3.6的1276和Gemini 3.8 Flash TTS的1267。

克隆側,Instant Voice Clone約10秒錄音即可建聲;Professional Voice Clone在v3中一度不可用,現已回到v4並覆蓋完整情緒範圍。context stitching負責把不同生成片段的節奏與狀態接上,speaker stability則儘量讓同一角色在旁白、對白和返工片段裏不跑聲。單次生成上限提到1萬字符,高於v3的5000字符。

同一腳本可排多個說話者、接話關係和音效,模型按整場語境生成回應,而不是把孤立句子拼起來。發音用ipa和發音詞典鎖定姓名、縮寫和專業詞。語言從v3的70多種擴到90多種,官方點名粵語、蒙古語和奧里亞語,質量提升最明顯的是日語、巴西葡萄牙語、普通話和粵語;演示還用過加泰羅尼亞語旁白加音效標籤。

Turbo把同一套表現力壓進實時對話:中位推理時延約100ms,中位首次出聲約150ms,支持雙向流式,可在大模型還在吐字時就開始出聲。官方對照給出Cartesia Sonic 3.6約262ms、OpenAI GPT-4o mini TTS約814ms。設計場景包括醫療術語客服、遊戲裏帶俚語的快嘴角色,以及升級、對峙和等待時的不同語氣。企業通話已佔其業務一半以上。

市場機制上,買方是要上線語音代理的企業和要做有聲書、廣告、配音的內容團隊;賣方是把「快」和「像人」拆成兩個產品的語音模型商。事件驅動明確:把延遲壓到人類對話停頓以下,才能把情緒模型賣進呼叫中心。資金流向api按字符計費,推廣期v4約每百萬字符22美元、Turbo約11美元,目錄價分別約80美元和40美元。受益的是ElevenLabs的代理與創意套件;承壓的是Cartesia、Google Gemini TTS、OpenAI實時語音,以及仍靠單調合成撐客服的外包坐席。

補充層面,v4去掉Style和Speed滑條且不支持ssml,控制改走穩定度、相似度和音效標籤。克隆需聲主驗證同意,生成音頻帶其語音分類器標記。模型已進免費檔,付費套餐起步約每月6美元。

來源:公開信息

ABAB AI 解讀

ElevenLabs由Mati Staniszewski與Piotr Dabkowski帶隊,路徑一直是先把「像人」做成創作工具,再把同一套聲音塞進企業通話。v3解決的是標籤演戲,v4要解決的是長文本不斷戲、短樣本能克隆、pvc重新上線。華沙預熱後直接雙模型上架,說明他們不再把質量和時延當成同一條產品線,而是把創作和生產通話拆開賣。

資本調動很具體:一邊用10秒克隆和90多種語言降低內容側切換成本,一邊用100ms級推理把語音代理嵌進llm循環。企業通話已過半收入,意味着下一美元不是來自網紅配音,而是來自醫療、客服、遊戲裏按分鐘計的對話。促銷把api打到目錄價約三折,目的是在Cartesia、Gemini和OpenAI還在比首包時延時,先把模型id寫進客戶代碼。

類比不是再做一個Siri。更接近NVIDIA把同一架構切成訓練卡和推理卡:v4是成片,Turbo是通話。行業階段從「能說話」進入「能演完一場並接住下一句」。誰還只賣單調客服腔,誰就在和外包座席搶同一條下行通道。

結構判斷屬於技術替代。機制是:當腳本能直接規定笑、停、吵、雨聲,且首包時延低於人類換氣,語音就不再是模型輸出的附屬波形,而成了可編排的演出層。坐席、配音棚和本地化工作室的計費單位,從小時人聲變成字符和毫秒。替代發生,是因爲控制權從麥克風後的人,轉到了寫標籤的人。

ABAB News · 認知定律

  1. 延遲低於呼吸,機器才進入對話

  2. 10秒克隆之後,聲音變成可複製資產

  3. 能演戲的模型,喫掉只會念稿的人工