快讯

奈飞研究院与INSAIT联合开源VOID:移除视频物体并模拟剩余物理交互

奈飞研究院与保加利亚索菲亚大学INSAIT研究所联合开发了VOID(Video Object and Interaction Deletion)AI框架,能从视频中移除物体并重新生成剩余场景的物理合理行为。该框架于4月3日以Apache 2.0许可证在Hugging Face开源,是奈飞研究院首个公开发布的AI工具。

VOID使用Meta SAM2进行物体分割、谷歌Gemini生成四值quadmask标记影响区域,并基于阿里巴巴CogVideoX-Fun-V1.5-5b-InP微调扩散模型生成反事实轨迹。训练数据来自约1900组Kubric刚体模拟和4500组HUMOTO人体动捕数据,在8块A100 GPU上完成。在25人偏好测试中,VOID获得64.8%选择率,明显高于商业工具Runway的18.4%。

来源:公开信息

ABAB AI 解读

VOID的核心突破在于将物理因果推理嵌入视频修复流程。传统工具仅处理静态填充,而VOID通过quadmask区分主体、重叠、受影响区和背景,强制模型模拟支撑、碰撞与推动等交互后果。这直接降低了后期制作中手动调整物理不一致的成本,将视频编辑从经验驱动转向因果驱动。

从技术替代与产业迁移角度看,此框架体现了内容生产工具链的结构演变。流媒体平台面临海量内容压力,AI驱动的物理模拟能力能加速资产复用、减少重拍需求,同时压缩高技能VFX劳动力的议价空间。开源策略进一步加速生态采用,让中小团队也能接入高级编辑能力,推动生产率在全球范围内的重新分配。

在长周期技术与财富分配层面,奈飞从封闭研发转向公开共享,反映平台对标准设定的追求。类似开源举动有助于锁定行业技术路径,但也意味着核心能力外溢可能重塑内容创作的进入门槛和价值链条。VOID虽未进入实际制作流程,却已显示出AI在模拟现实约束方面的进步,预示未来视频资产定价将更多依赖因果一致性而非单纯视觉质量。

AI

来源

·
·
1 分钟阅读
·10 天前
分享: