当前位置:首页 > 教育 > 正文内容

用于无监督视频分解的可变形精灵

湘潭网3年前 (2022-05-19)教育37

研究人员提出了整个视频中运动组的表示,称为 Deformable Sprites。Deformable Sprites 表示仅根据视频中存在的图像和运动提示拟合视频,无需任何用户输入。此外,该方法可以处理带有移动相机和铰接或可变形物体的视频。

用于无监督视频分解的可变形精灵

该方法支持诸如一致的视频编辑或 2D 运动雕塑效果等应用。对标准视频对象分割基准的评估表明,所提出的方法获得了有竞争力的结果。

我们描述了一种从输入视频中提取动态场景的持久元素的方法。我们将每个场景元素表示为由三个组件组成的 \emph{Deformable Sprite}:1)整个视频的 2D 纹理图像,2)元素的每帧掩码,以及 3)映射纹理的非刚性变形图像到每个视频帧。由此产生的分解允许诸如一致的视频编辑之类的应用。Deformable Sprites 是一种针对单个视频进行优化的视频自动编码器模型,不需要在大型数据集上进行训练,也不依赖于预训练模型。此外,我们的方法不需要对象掩码或其他用户输入,并且发现比以前的工作更广泛的移动对象。我们在标准视频数据集上评估我们的方法,并在各种互联网视频上展示定性结果。

扫描二维码推送至手机访问。

版权声明:本文由湘潭网发布,如需转载请注明出处。

本文链接:http://www.junzilian.com/a/jiaoyu/5313.html

分享给朋友: