返回快訊

Google展示用自然語言替換視頻中的人物與物體

谷歌發文展示Gemini Omni可用自然語言替換視頻中的物體或角色,並保持場景連貫。示例包括把飛船換成指定物體,角色與運動、對白對齊。

該能力來自Gemini Omni,定位爲從任意輸入生成內容、先從視頻開始。用戶可用對話逐步修改,角色一致性、物理和前後鏡頭被寫成可記憶。Omni 1.1 Flash爲加速版本,支持延續鏡頭、參考圖換角、風格遷移,並可通過開發者接口做有狀態編輯。

Runway於8月28日宣佈接入Google Omni 1.1 Flash,與其圖像和視頻模型並列上線。谷歌5月推出Omni時強調把Gemini的世界知識接入生成視頻,可用文本、圖像、音頻和視頻組合輸入。

官方提示還包括改燈光、改標牌文字、按時間點插入事件,以及用參考圖把服裝或建築長進原鏡頭。輸出可到1080p並支持更高分辨率放大。谷歌將其比作面向視頻的對話式編輯,而不是一次性出片。

市場機制上,買單的是要在一條成片上改角色和道具、又不想重拍的製作方,賣出的是按提示詞計費的生成次數。事件由平臺上架和官方演示驅動,資金從視頻工具訂閱流向模型調用;受益的是把基礎模型接進工作流的剪輯平臺,承壓的是仍靠關鍵幀和遮罩喫飯的傳統換角流程。

來源:公開信息

ABAB AI 解讀

換角從遮罩和時間線,改成一句話。飛船變成果籃,人還在原來的運動軌跡上走。谷歌賣的是場景記憶:改一件東西,燈光和地面不跟着崩。Runway上架Flash,是把實驗室模型嵌進已經有付費用戶的時間線。誰掌握“在一條視頻裏繼續改”的狀態,誰就按會話收費,而不是按導出次數。

資本路徑是把Gemini的多模態推理寫成視頻API,再通過Runway等分發層接觸剪輯室。錢從訂閱和token進入訓練與推理集羣。參考圖槽位把商品圖和演員圖變成可替換圖層,電商和廣告片先用起來。與靜態“香蕉”類修圖對應的是動態版:同一套對話習慣,從海報走進鏡頭。

對標的是Runway自家Gen系列、OpenAI的視頻生成,以及Adobe把Firefly塞進Premiere。生成視頻處在“能出片之後必須能改片”的階段:首幀震撼不再構成工作流,能換主角還不穿幫才構成工作流。世界知識被用來補物理,補的是觀衆眼睛,不是片場場記。

結構上屬於技術替代。機制是:當模型和原片共享一條時間軸,替換就不再等於重拍。定價權從攝影師檔期轉到提示詞迭代次數。連貫性是產品,換角只是按鈕。

ABAB News · 認知定律

  1. 能出片之後,能改片才構成工作流

  2. 換主角若不穿幫,遮罩就會變成一句話

  3. 場景記得住前後鏡頭,生成才進得了時間線