文章目录

这篇文章看起来有点像Photo-slam的续作行文格式和图片类型很接近而且貌似是出自同一所学校的所以推测可能是Photo-slam的优化与改进方法接下来具体看看改进了哪些地方。

文章目录

Nerf虽然有前景但将NeRF集成到SLAM系统中遇到了几个障碍包括高计算需求长时间的训练有限的泛化性过度依赖视觉线索以及对灾难性遗忘的敏感性。

现有的高斯飞溅SLAM

(GS-SLAM)方法在处理有限数量的高斯原语时难以在实时约束下实现卓越的渲染性能。

这些问题源于算法的计算需求与可用处理资源之间的不一致这可能导致训练和优化过程不足。

GS-SLAM方法总结

MonoGS和SplaTAM是对耦合GS-SLAM算法的开创性贡献它们开创了一种通过梯度反向传播同时优化高斯原语和相机姿态估计的方法。

Gaussian-SLAM引入了子地图的概念来解决灾难性遗忘的问题。

此外LoopSplat扩展了Gaussian-

slam的工作采用基于高斯飞溅的环闭合配准来提高姿态估计精度。

然而依赖于3DGS的密集计算来估计每帧的相机姿态这对这些方法实现实时性能提出了挑战。

为了克服这一问题人们提出了解耦的GS-SLAM方法。

splat

slam和IG-SLAM利用预训练的密集束调整进行相机姿态跟踪利用代理深度图进行地图优化。

RTG-SLAM采用帧到模型的ICP进行跟踪并通过关注最突出的不透明高斯函数来呈现深度。

GS-ICP-SLAM通过利用G-ICP和3DGS之间的共享协方差利用高斯原语的尺度对齐实现了非常高的速度(高达107

FPS)。

Photo-SLAM采用ORB-SLAM3进行跟踪并引入了从粗到精的地图优化实现了鲁棒性能。

2.关键内容

作者首先提出问题GS-SLAM固有的计算偏差现象接着分析了他的不利影响T这种不对齐会严重影响计算效率阻碍真实感渲染的快速收敛对实时GS-SLAM的性能产生不利影响。

最后提出了解决方案为了克服这些障碍我们提出了一种新的自适应计算对齐策略该策略旨在加速3DGS过程优化计算资源分配有效控制模型复杂性从而提高3DGS在实时SLAM应用中的整体有效性和实用性。

2.1

SLAM环境下真实感渲染中出现的计算偏差主要有三个方面:训练不足、长尾优化和弱约束致密化。

这些因素降低了渲染质量增加了地图尺寸。

这些因素严重阻碍了GS-SLAM的实时应用限制了其在资源受限设备中的适用性。

1)训练不足:与不受实时性限制的典型3DGS不同SLAM领域内的在线渲染需要同时执行定位、建图和渲染且速度与输入传感器数据的频率同步。

为了实现这一点目前大多数实时GS-SLAM方法都依赖于关键帧进行映射和渲染。

然而这些方法通常在渲染优化中总共只能实现几千次迭代明显落后于3DGS的数万次迭代。

由于训练不足优化过程没有完全收敛对在线渲染质量产生不利影响。

最近几位研究人员的观察表明在3DGS中逐像素反向传播存在重大的计算挑战。

由于多个GPU线程争夺访问共享高斯原语这需要序列化原子操作从而限制了并行化效率因此该过程成为瓶颈。

不幸的是这个缺点被集成到以前的GS-SLAM实现中。

在本文中我们利用快速的飞溅式反向传播来减少线程争用。

这种方法不仅实现了与基线相比迭代次数增加3倍而且还保持了相同的运行时。

这一进步显著缓解了训练不足的问题大大提高了实时GS-SLAM的绘制质量。

2)长尾优化:为了减轻灾难性遗忘的问题GS-SLAM中常见的方法是从关键帧池中随机选择一个关键帧进行周期性再训练。

然而这种方法可能导致次优的长尾优化如图3所示。

具体来说最早的关键帧的再训练频率往往超过最近添加的关键帧。

这种差异的产生是因为随着摄像机在环境中移动关键帧池不断扩大这可能导致再训练努力的分布不均匀并且新传入关键帧的PSNR呈下降趋势。

(所以才需要滑动窗口吧

在本文中我们提出了一种创新的自适应优化策略即根据训练损失从池中选择再训练关键帧来抵消长尾效应。

通过采用这种方法我们的目标是提高具有较低PSNR值的关键帧的再训练频率。

通过这样做我们的自适应策略确保在关键帧池中更公平地分配再训练工作优化每个关键帧对系统整体性能的贡献。

3)弱约束致密化:在GS-SLAM环境下致密化是逼真渲染的关键组成部分包括几何致密化和自适应致密化。

几何致密化涉及将彩色点云转换为初始化的高斯基元用于每个新识别的关键帧为环境提供基本的几何结构。

另一方面自适应致密化使用分裂和克隆等操作来细化高斯原语这些操作由梯度和原语本身的大小引导。

这些致密化仅受简单修剪策略的限制该策略消除了低不透明度的高斯原语。

然而新兴研究表明这种方法不足以将模型的大小管理在最佳范围内。

在本文中我们引入了不透明度正则化损失来鼓励高斯原语学习低不透明度从而不仅有利于修剪过程以消除不重要的原语而且还保持了高保真渲染。

2.2

为了解决实时GS-slam中真实感渲染的计算不对齐问题我们提出了一种自适应计算对齐策略称为CaRtGS。

下面我们将详细概述该策略的关键步骤。

1)快速飞溅反向传播:在传统的3DGS训练pipeline中反向传播阶段的计算要求很高因为它需要将梯度信息从像素传播到高斯基元。

这个过程需要计算每个飞溅像素对

(i,

Xi1,j​并将更新后的信息整合到梯度计算中。

这个过程可以用数学表示为:

逐像素传播在GS-SLAM中广泛使用将建图线程到像素并以相反的深度顺序处理splat。

线程

按照拼合的顺序计算拼合的部分梯度通过原子操作更新每个拼合的累积梯度。

但是这种方法可能导致线程之间争用共享内存访问从而导致妨碍性能的序列化操作。

为了应对这一挑战我们采用了一种新的并行化策略将重点从基于像素的处理转移到基于飞溅的处理。

这种策略允许每个线程独立地维护splat的状态并有效地交换像素状态信息。

线程

在向前传递期间线程存储每N条像素的透光率T和累积颜色RGB为后向传播做准备。

这些存储状态包括初始条件

X{0,j},

X0,j,XN,j⋅⋅∀j。

在向后传递开始时tile中的每个线程生成像素状态

X_{i,j}

我们引入了以飞溅为中心的并行性每个线程一次处理一个高斯飞溅显著减少了争用。

梯度计算依赖于一组逐像素、逐像素值有效地遍历splat⇔像素关系表。

在向前传递期间我们为每32次飞溅保存像素状态。

对于向后传递splats被分组为32个bucket每个bucket由CUDA

warp处理。

warp利用warp内部洗牌来有效地构建他们的状态表段。

与逐像素传播的Photo-SLAM相比这种改进有效地解决了训练不足的问题。

2)自适应优化:尽管

传播总体上达到了足够的训练但每个关键帧迭代的长尾分布是一个挑战。

为了解决这个问题我们建议使用基于训练损失L的自适应优化来增强飞溅的方法以确保在关键帧池K上更公平地分配迭代。

给定一个关键帧池

l1,l2…lk}记录每个关键帧的最后一次训练损失值。

当检测到新的关键帧

v_{k1}

lk1​为其初始训练损失值。

然后我们从剩余迭代的关键帧子集中随机选择一个关键帧

v′定义为

0∀ri∈Rk}来训练3D高斯地图G。

训练后我们将所选关键帧的训练迭代次数减1将r

调整为

Regularization):在3DGS的典型应用中利用渲染损失

l_{render}

lrender​来细化三维高斯基元。

为了有效地管理内存使用和模型大小我们设计了一种策略鼓励在对渲染过程没有贡献的区域消除高斯分布。

由于高斯的存在主要是由它的不透明度o来表示的我们在这个属性上强加了一个正则化项

L_o

slam3作为前端跟踪器该跟踪器不仅提供输入图像Vi的高效6自由度相机姿态估计还提供彩色点云p。

在定位模块中前端跟踪器通过Levenberg-Marquardt

(LM)算法最小化2D

ORB关键点pi与匹配的3D点pi之间的重投影误差交互式地改进相机方向R和位置t。

在几何建图模块中前端跟踪器对一组共可见的3D点PL和关键帧KL执行BA调整以生成彩色点云Pi。

给定一个彩色点云Pi我们将其转换为一组初始化的高斯基元Gi。

随后我们通过几何致密化操作将Gi合并到三维高斯地图G中。

利用3DGS我们可以得到给定6自由度相机姿态的高保真渲染。

3.文章贡献

我们对GS-SLAM中存在的计算偏差现象进行了深入的分析。

我们引入了一种自适应计算对齐策略有效地解决了训练不足、长尾优化和弱约束致密化问题在实时约束下使用更少的高斯原语实现了高保真渲染。

4.个人思考

本文针对Photo-slam中出现的一些痛点问题有的放矢对Photo-slam提出了进一步的优化。

总的来说解决了三个问题我个人觉得第一个解决方案的创新性很高相当于对GS渲染的反向传播过程进行优化并将他运用到Photo-slam上面。

第二个解决的长尾问题是针对于Photo-slam的具体优化之前我就觉得这个地方需要改进他这个通过损失来判断迭代哪些关键帧的方法让我眼前一亮。

虽然简单但是之前没有人这样做。

这些方法切实地对已有方法进行优化覆盖了大部分方面让Photo-slam的效果更上了一层楼总之这个工作还是非常不错的。