。

与图像延展不同#xff0c;视频延展需要考虑到填充区域的时序一致性#xff0c;这使得问题更具挑战性。

在本文中#xff0c;我们介绍了一个新颖的基于扩散模型的视频尺寸延展方法——分层遮掩3D扩散模型(…

视频延展(Video

Outpainting)是对视频的边界进行扩展的任务。

与图像延展不同视频延展需要考虑到填充区域的时序一致性这使得问题更具挑战性。

在本文中我们介绍了一个新颖的基于扩散模型的视频尺寸延展方法——分层遮掩3D扩散模型(Hierarchical

Masked

M3DDM)。

通过遮掩建模的训练方法以及把全局视频片段引入交叉注意力层该模型不仅能够通过引导帧的技术来保证在多次推理的视频片段中确保时序一致性还能降低相邻帧之间的抖动。

此外我们还提出了一种混合由粗到细(Hybrid

Coarse-to-Fine)的推理流程来减轻长视频延展中的错误累积问题。

我们的方法在视频延展任务中取得了最先进的结果。

该视频尺寸延展算法已在阿里妈妈创意中心上线同时基于该项工作整理的论文已发表在

ACM

论文下载https://arxiv.org/abs/2309.02119

项目主页https://fanfanda.github.io/M3DDM/

代码链接https://github.com/alimama-creative/M3DDM-Video-Outpainting

背景介绍

展示区域的尺寸的情况。

直接拉伸素材视频容易导致展示效果变差因此我们可以采用视频延展的算法来扩展素材视频的边界使得延展之后的视频的长宽比适配我们的广告展示区域的尺寸。

表一分别展示了我们M3DDM算法在垂直、水平以及四周方向的视频延展结果。

考虑到广告主的视频长度普遍大于10s视频延展任务与图像延展任务相比带来了以下额外的两个挑战1).

考虑到

的显存我们在推理阶段需要把视频分成多个片段来预测。

如何保证多个片段间的时序一致性2).

解决方案

我们采用引导帧的方式来连接同一视频的多个片段为此我们提出了一种新的遮掩策略来训练3D视频扩散模型3).

为了更好的保持时序一致性我们从视频中抽取了全局帧经过编码后放入了模型的交叉注意力层。

这使得模型能够在预测当前视频片段时感知到全局的视频信息以期望在有空间信息重叠时模型能够填补更加合理的结果。

4).

Coarse-to-Fine

的推理流水线来缓解长视频错误累积的问题。

我们将分别从训练(2.1)和推理(2.2)两方面来讲解算法细节。

2.1

我们在图1展示了M3DDM的训练过程。

我们的方法是基于扩散模型

[2,

4]的。

扩散模型是一类生成式模型它对原始分布加噪并通过一个深度网络来预测噪声的方式来训练一个去噪网络以便于在推理阶段我们能够从标准正态分布随机采样一个噪声来逐步推理原始数据分布。

在视频延展场景中我们在训练阶段要学习一个3D

U-Net

[5]的去噪网络去拟合视频样本中的噪声。

我们网络的输入是添加了次高斯分布噪声的视频样本、二值的掩码来指示哪部分区域是需要被填充的以及遮掩过后的视频同时在交叉注意力层输入全局的视频帧(遮掩过后的避免泄漏)输出是添加的高斯噪声。

降噪网络通过以下损失函数进行训练:

其中是我们的条件输入。

我们将在下面的小节分别介绍主体的网络结构训练的遮掩策略以及如何用全局帧为提示来训练网络。

2.1.1

Diffusion是一个文本到图像的潜在扩散模型。

选择它在这里有两大好处

它们在潜在空间而非像素空间对视频帧进行编码因此需要更少的内存并且能够实现更好的效率2D图像扩散模型的参数先验有利于我们在视频延展任务的快速收敛。

Diffusion的网络适应我们的视频延展任务我们增加了了时序卷积同时修改了自注意力层以及交叉注意力层来确保不同帧之间的交互。

2.1.2

为了构建视频延展的训练样本我们随机地遮掩每个帧的边缘部分。

我们采用不同方向策略对帧进行遮蔽全方向、单一方向、双向左右或上下、任意四个方向中的随机一个方向以及全遮掩。

考虑到实际应用场景我们分别采用这五种策略的比例为0.2、0.1、0.35、0.1和0.25。

“全遮掩”策略使模型能够进行无条件生成这允许我们在推理阶段采用无分类器引导技术

[6]。

考虑到实际应用场景中需要外部延展的边缘区域的大小我们均匀地从[0.15,

0.75]中随机采样帧的遮掩比例。

我们称遮掩过后的帧为上下文帧。

为了能够在推理阶段使用引导帧我们在每一个训练batch中用以下三种模式中的一种

所有帧仅给出上下文信息每个帧都采用上述遮掩策略。

第一帧或第一和最后一帧被原始未遮掩的帧替换其余帧仅给出上下文信息。

任何帧都有0.5的概率被未遮掩的原始帧替换。

这些训练模式允许模型不仅基于上下文信息预测边缘区域还基于相邻的引导帧。

相邻的引导帧可以帮助生成更连贯、抖动更少的结果。

我们平均三种情况的训练比例。

这三种情况的比例分别是0.3、0.35和0.35。

我们不仅仅使用第3种模式进行训练因为我们考虑到在预测阶段前两种情况可能会更频繁地使用。

2.1.3

为了使模型能够感知当前片段之外的全局视频信息我们均匀地从视频中采样16帧。

这些全局帧通过一个可学习的轻量级编码器来获取特征图然后通过交叉注意力机制输入到3D-UNet中。

我们没有在3D-UNet的输入层中加入全局帧因为我们认为交叉注意力可以使模型更加关注遮掩的帧与全局帧的交互而不是全局帧自己的交互。

值得注意的是在这里输入的全局帧与当前视频片段的遮掩策略对齐并且与其他帧一样采用相同的方式进行遮蔽以避免信息泄露。

2.2

在长视频延展中我们往往需要对视频进行上百次的推理拼接前面片段生成的坏结果由于引导帧的作用会持续累积到后面的片段中。

为了缓解这个问题我们提出了混合由粗到细(Hybrid

Coarse-to-Fine)的推理流水线。

如图2所示我们的推理流水线先稀疏的生成关键帧再根据关键帧填补更多的中间结果最后采用前后引导帧的形式密集的对视频未填充的部分进行填补。

由于关键帧的间隔比较大因此我们的方法可以以较少的迭代次数生成视频的关键帧从而有效的缓解了错误累积的问题。

与传统的只包含了无条件(Uncondition)和前后引导(Infilling)策略的方法比我们的混合策略引入了插值(Interplotation)的方式缓解了3级结构中第一级结构中关键帧间距过大带来的效果退化。

实验分析

我们在图3中展示了我们的M3DDM在Davis和YouTube-VOS数据集与Dehan

[1](Simple

Model)方法的定量对比。

我们测试了水平方向的视频延展遮掩比例为0.25以及0.666。

我们在256的分辨率下计算了这5个评价指标在所有视频样本的平均值(FVD是整体计算的)。

可以看出我们的方案显著的优越于基于flow预测的Dehan

[7]和SDM

[1]的定性评估。

可以看出我们的方法能够更好的保证时序一致性生成更连贯合理的视频结果。

更多的定性评估可以参考我们的论文和项目主页。

算法落地

该算法已在阿里妈妈-创意中心https://chuangyi.taobao.com/素材库上线商家可以对素材库中的视频以外扩的形式进行多种尺寸修改以适配各种尺寸的广告位提升广告的流量覆盖。

图5阿里妈妈-创意中心尺寸魔方

在本文中我们提出了一种基于遮掩建模的3D扩散模型用于视频延展(Video

Outpainting)。

我们使用遮掩建模的学习策略并将全局视频片段的编码作为交叉注意力层的输入。

遮掩建模的双向学习方法使我们在推理阶段可以有更灵活的策略同时更好地感知相邻帧的信息。

添加全局视频片段作为提示进一步提高了我们方法的性能。

在大多数摄像机移动和前景主体滑动的情况下全局视频片段帮助模型在待填充区域生成更合理的结果。

我们还提出了一种用于视频延展的混合由粗到细的推理流水线它结合了前后引导和插值策略以避免由于多级结构对齐问题而在最粗糙阶段产生的关键帧之间的大时间间隔问题。

实验表明该方法已达到较为先进的结果。

目前该算法已在阿里妈妈创意中心素材库上线相关代码已开源欢迎关注试用体验。

关于我们

我们是阿里妈妈智能创作与AI应用团队专注于图片、视频、文案等各种形式创意的智能制作与投放产品覆盖阿里妈妈内外多条业务线欢迎各业务方关注与业务合作。

同时真诚欢迎具备CV、NLP相关背景同学加入一起拥抱

AIGC

投递链接点击下方↓阅读原文https://talent.taotian.com/off-campus/position-detail?langzhpositionId1049709

参考文献