。

虽然这一领域取得了重大进展#xff0c;但目前的方法仍面临一些挑战。

有些方法速度较慢…导言

论文地址https://arxiv.org/abs/2403.06738

源码地址https://github.com/heheyas/V3D.git

内容的技术成为可能。

虽然这一领域取得了重大进展但目前的方法仍面临一些挑战。

有些方法速度较慢产生的结果也不一致还有一些方法需要在大型

内容。

视频扩散模型是生成详细、一致的视频场景的典型模型。

由于许多视频都会从不同角度捕捉物体因此这些模型有助于理解三维世界。

V3D

的新方法它利用视频扩散模型生成物体或场景的多个视点并根据这些视点重建三维数据。

这种方法既适用于单个物体也适用于大型场景。

在生成3D物体时使用

物体视频来训练模型以提高准确性。

此外还引入了新的损失和模型结构以提高生成视点的一致性和质量。

此外为了使该方法在实际应用中切实可行还提出了一种根据生成的数据创建三维网格的方法。

该方法还扩展到支持场景级三维生成实现了精确的摄像机路径控制和多输入视点处理。

广泛的实验包括定性和定量评估证明了所提出方法的卓越性能。

特别是在生成质量和多视角一致性方面它明显优于以往的研究。

预计所提出的方法将克服当前三维生成技术的局限性为基于人工智能的三维内容生成开辟新的可能性。

算法架构

利用视频生成模型通过利用预先训练的大型视频扩散模型的结构和强大的先验知识促进一致的多视角生成。

为了从物体图像生成三维图像利用在固定圆形摄像机位置绘制的合成三维物体的

360°

轨道视频对基础视频扩散模型进行了微调并提出了适合生成的多视角的重建和网格提取管道。

场景级

编码器纳入基础视频扩散模型以精确控制生成帧的摄像机位置使其能够无缝适应任意数量的输入图像。

详情如下

360

将围绕物体旋转的连续多视角图像解释为视频并将以正面观看为条件的多视角生成视为一种图像到视频的生成形式。

这种方法利用了大规模预训练视频扩散模型提供的对三维世界的全面理解并解决了缺乏三维数据的问题。

它还利用视频扩散模型固有的网络结构有效生成足够数量的多视角图像。

具体来说稳定视频扩散SVD

等无关条件并使其与高度角无关。

取而代之的是物体被随机旋转以使生成的模型能够响应非零高度的输入。

-三维重建使用微调视频扩散模型获取物体周围的图像后下一步就是将其重建为三维模型。

3D

高斯拼接技术Kerblet.al,

确保视图之间每个像素的一致性非常困难而且会导致三维重建中出现伪影。

为了解决这个问题我们采用了逐像素损失

MSE

-网格提取为满足实际应用的要求我们还提出了一个生成视图的网格提取管道。

为实现快速曲面重建采用了使用多分辨率哈希网格的

NeuSWang

对纹理进行细化而几何图形保持不变。

通过高效的可微分网格渲染这一过程可在

扩展到场景级

生成需要沿着摄像机的路径生成图像这就要求精确控制摄像机的方向并适应多个输入图像。

为了应对这一挑战并保持一致性V3D将PixelNeRF特征编码器集成到视频扩散模型中如图

这种方法可以无缝支持任意数量的图像。

模型的其他设置和结构与以对象为中心的生成类似。

2在图像到

显示出更好的质量。

这些方法由于生成的高斯数量有限会产生模糊的外观。

在前视图一致性和保真度方面优于基于

则会产生过度饱和的纹理。

所提出的方法可在不到三分钟的时间内获得结果速度明显快于基于优化的方法。

名志愿者被要求在观看根据

被评为最有说服力的模型在图像一致性和保真度方面都明显优于其他竞争方法。

1.人类评估结果

所提出的方法在图像指标方面始终优于以往的研究证明了使用预训练视频扩散模型进行场景级

V3D完全在

数据集的消防栓子集中生成的多视图的定性比较。

为了进行更详细的比较我们在

COLMAP

显示了生成的点云中的点数以及与真实图像重建的点云之间的倒角距离。

结果表明由

生成的图像重建的点云包含更多的点而且更接近于由真实图像重建的点云。

换句话说无论是在重建质量还是多视角一致性方面拟议方法都具有显著优势。

CO3D

利用视频生成模型利用大型预训练视频扩散模型的结构和丰富的先验知识实现一致的多视角生成。

此外还提出了一种新的重建管道和学习损失以实现一致且高精度的三维物体重建。

通过广泛的定性、定量和人工评估证明了所提出方法的卓越性能。

特别是在生成质量和多视角一致性方面它明显优于以往的研究。

所提出的方法有望突破当前三维生成技术的限制为基于人工智能的三维内容生成开辟新的可能性。