Fish Audio發佈開源Drama 3文本轉語音模型
Fish Audio發佈Drama 3,稱其爲全球最具情感表現力與可控性的文本轉語音模型,並開放權重。公司此前完成5200萬美元種子輪融資,用戶規模超過1500萬。
Drama 3爲35B參數混合專家模型,每token激活約3B參數。用戶可通過自然語言描述單行表演方式,包括情緒、語速與對象。支持在句子中途切換語氣或聲音,對單個詞語施加效果,並添加聲音或停頓。模型支持多角色場景、語音克隆、局部編輯與長音頻流式生成。支持83種語言。
公司在啓動視頻中展示Uncle Roger使用其聲音克隆並接受指導。權重發佈於Hugging Face,採用Fish Audio社區許可v1.0。研究與非商業使用免費;年收入低於50萬美元的商業使用免費;更高收入或提供API服務需另行許可。禁止未經同意克隆真人聲音。API定價每百萬字符50美元,至11月12日有折扣。
Fish Audio由前英偉達研究員Shijia Liao發起,最初在單GPU上訓練並開源。公司一年內從項目發展爲年經常性收入2100萬美元、用戶超過800萬的平臺,後升至1500萬以上。客戶包括HeyGen、LiveKit、Retell等。模型通過自然語言控制替代傳統標籤。
資金從傳統語音演員與後期重錄流向模型調用與開源權重。創作者與企業通過可控語音降低長音頻修改成本。Fish Audio通過託管API與企業許可獲得收入。開源權重吸引開發者,託管服務與低延遲維持付費。依賴固定情感標籤的競品在可控性上相對承壓。
來源:公開信息
ABAB AI 解讀
Fish Audio於2025年由前英偉達研究員Shijia Liao創立,最初開源Fish Speech。2026年7月完成5200萬美元種子輪,當時用戶約800萬、年經常性收入2100萬美元。此後用戶增長至1500萬以上。公司將Drama 3作爲開源權重發布,同時提供託管API。
公司將語音控制從SSML標籤轉向自然語言指令,支持單詞語氣調整與句子中途切換。資源從封閉API模型轉向開源權重加託管服務。創作者可在腳本中嵌入表演指令,減少整段重錄。企業通過API獲得可控語音用於客服與內容。
類似開源語音模型已在其他實驗室發佈。當前文本轉語音處於從固定情感標籤向自然語言導演式控制過渡的階段。
本質屬於技術替代。自然語言指令在語音生成中替代部分傳統標籤與後期調整。機制在於將表演描述直接嵌入文本,使模型在單次生成中處理情緒變化、單詞修正與多角色對話,同時通過開源權重降低開發者接入門檻,將收入從純模型調用轉向託管與許可。
ABAB News · 認知定律
自然語言指令替代標籤後,語音控制從固定參數轉向表演描述
開源權重吸引開發者,託管服務維持付費收入
單詞修正降低長音頻重錄成本,修改從整段轉向局部