Google展示用自然语言替换视频中的人物与物体
谷歌发文展示Gemini Omni可用自然语言替换视频中的物体或角色,并保持场景连贯。示例包括把飞船换成指定物体,角色与运动、对白对齐。
该能力来自Gemini Omni,定位为从任意输入生成内容、先从视频开始。用户可用对话逐步修改,角色一致性、物理和前后镜头被写成可记忆。Omni 1.1 Flash为加速版本,支持延续镜头、参考图换角、风格迁移,并可通过开发者接口做有状态编辑。
Runway于8月28日宣布接入Google Omni 1.1 Flash,与其图像和视频模型并列上线。谷歌5月推出Omni时强调把Gemini的世界知识接入生成视频,可用文本、图像、音频和视频组合输入。
官方提示还包括改灯光、改标牌文字、按时间点插入事件,以及用参考图把服装或建筑长进原镜头。输出可到1080p并支持更高分辨率放大。谷歌将其比作面向视频的对话式编辑,而不是一次性出片。
市场机制上,买单的是要在一条成片上改角色和道具、又不想重拍的制作方,卖出的是按提示词计费的生成次数。事件由平台上架和官方演示驱动,资金从视频工具订阅流向模型调用;受益的是把基础模型接进工作流的剪辑平台,承压的是仍靠关键帧和遮罩吃饭的传统换角流程。
来源:公开信息
ABAB AI 解读
换角从遮罩和时间线,改成一句话。飞船变成果篮,人还在原来的运动轨迹上走。谷歌卖的是场景记忆:改一件东西,灯光和地面不跟着崩。Runway上架Flash,是把实验室模型嵌进已经有付费用户的时间线。谁掌握“在一条视频里继续改”的状态,谁就按会话收费,而不是按导出次数。
资本路径是把Gemini的多模态推理写成视频API,再通过Runway等分发层接触剪辑室。钱从订阅和token进入训练与推理集群。参考图槽位把商品图和演员图变成可替换图层,电商和广告片先用起来。与静态“香蕉”类修图对应的是动态版:同一套对话习惯,从海报走进镜头。
对标的是Runway自家Gen系列、OpenAI的视频生成,以及Adobe把Firefly塞进Premiere。生成视频处在“能出片之后必须能改片”的阶段:首帧震撼不再构成工作流,能换主角还不穿帮才构成工作流。世界知识被用来补物理,补的是观众眼睛,不是片场场记。
结构上属于技术替代。机制是:当模型和原片共享一条时间轴,替换就不再等于重拍。定价权从摄影师档期转到提示词迭代次数。连贯性是产品,换角只是按钮。
ABAB News · 认知定律
能出片之后,能改片才构成工作流
换主角若不穿帮,遮罩就会变成一句话
场景记得住前后镜头,生成才进得了时间线