文章转自“京东零售技术”公众号 这篇文章导读

Oxygen XR产品研发团队联合清华大学一起提出了 DirectFisheye‑GS 框架。创新性地将鱼眼模型原生嵌入到3D高斯泼溅管线中，实现了对鱼眼图像的直接、无损处理。该框架引入了跨视角联合调整策略，可以解决了单视角随机调整引起的高斯形状畸变及视角间几何/光度不一致问题。实验表明，该方法在多个公开数据集上达到或超越了现有最优性能。并能无缝兼容现有3DGS工具链，实现了渲染效率与重建质量的深度兼顾。

Oxygen是京东零售产研对外发布的电商创新AI架构程序：以Joy AI大模型为底座。建立程序能力与多元智能体，帮助购物、供应链等电商场景，呈现AI技术在京东零售业务中的整体应用布局。基于本工作的论文已被 CVPR 接收，欢迎阅读交流。· 链接：arxiv.org/abs/…论文：DirectFisheye‑GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross‑View Joint Optimization

序言

在电影《星际穿越》的末尾，男主角库珀进入了一个由未来人类建立的超立方体。在这个奇点空间内，时间不再是流逝的箭头。而是一个可观测、可触碰的几何维度。库珀可以像翻阅书架一样，在女儿墨菲房间的每一个时间节点间自由穿梭。从不同视角观察那些被遗忘的瞬间。

这种对“时空完整留存”的极致想象，正是人类信息记录技术的终极目标。我们已经经历了从平面照片到动态视频的跨越，现在正站在三维场景采集向全时空数字重构进化的奇点上。老实说，面对人类留住更多信息的本能渴望，那有没有一种方案，能够让我们记录完整的时间和空间。轻松获得像游戏一样自由体验的体验而且保留真实世界的真实感？答案就在今天将要介绍的文章中。

技术背景

高斯泼溅技术的出现。使得《星际穿越》中“超立方体”所描绘的、能够完整记录并回溯时空片段的愿景，正从科幻走向现实。这项技术通过将三维场景分解为成千上万个可定向、可缩放的3D高斯椭球，实现了对复杂场景的高效、高保真重建。从静态的3D场景到动态的4D时空序列，其重建效果在视觉真实感与细节丰富度上取得了突破性进展。

主要流程概览

• 初始化阶段从稀疏多视角图像出发。为每个点创建一个初始3D高斯椭球，由七个主要参数定义——位置、协方差矩阵还有RGB颜色。
• 可微渲染高斯椭球被“泼溅”到屏幕上。2D图像，可计算渲染结果与Ground Truth之间的Loss。
• 参数调整利用反向传播将Loss传回。高斯椭球参数不断迭代更新，使渲染图像逐步逼近真实输入。
• 自适应密度控制训练后期评估每个高斯的关键性；关键高斯分裂以提高细节密度，冗余高斯被剪枝，从而得到既精确又紧凑的模型。

使用者痛点一：传统管线需要大量视角图片才能覆盖全场景，对拍摄成本和时间成本造成巨大压力。

论文解读——DirectFisheye‑GS 的创新突破

传统高斯泼溅算法依赖针孔相机模型采集多视角图片。这导致视场局限，需要大量图像才能完整覆盖场景。鱼眼相机凭借超宽视场优势可以显著降低所需图像数量。但现有方案往往先做去畸变预处理，导致信息丢失、细节模糊还有漂浮伪影。

原生鱼眼输入 & 可微投影模型

DirectFisheye‑GS 将鱼眼模型直接嵌入 3D 高斯泼溅管线，实现对原始鱼眼图像**无损**处理。团队采用基于泰勒展开的多项式 方法，用四个畸变参数。相比传统等距投影具备更高自由度，可精准适配各种复合光学程序。主要是推导出该模型下的投影雅可比矩阵。使得 3D 高斯 → 鱼眼图像过程保持端到端可微性，无需去畸变步骤，从根本上避免信息损失。

跨视角联合调整策略

鲁棒性与效率，使得重建质量在保持高速渲染能力同时得到进一步提高。

使用者痛点二：单视角调整易产生几何畸变和光照不一致，使得最终模型出现马赛克、纹理模糊等视觉缺陷。

实验验证

所有实验均在单张 NVIDIA A100 80GB 显卡上完成。选取 FisheyeNeRF、ScanNet++、Den‑SOFT 三类公开数据集，对比基线包括原始 3DGS、Fisheye‑GS、3DGUT 与 Self‑Cali‑GS。采用 PSNR、SSIM、LPIPS 三项指标进行定量评估，并辅以视觉对比。

• SOTA 超越：DirectFisheye‑GS 在所有数据集上的训练视角与测试视角均达到或超过当前最优性能；在鱼眼边缘大畸变区域 PSNR 相较 3DGUT 提高显著。
• 定性优势：消除边缘马赛克伪影、纹理模糊和漂浮高斯问题；细节保留度与跨视角光照一致性大幅比更好现有方案。

技术应用前景

L​因为 3D 高斯泼溅技术发展很快，我们 O​xygen XR 团队联合清华大学、华为等机构继续进行 3D/4D 重建创新。并探索业务落地：

• D​igital 商品展示：利用 3D 高斯重建实现商品细节毫米级复刻，为电商提供沉浸式浏览体验。怎么说呢，
• L​ive 4D 体积视频：将传统 2D 带货短视频升级为交互式 4D 场景。实现虚实结合直播，让观众从任意视角观看商品细节。
• C​ontent 创作：L​ightweight AI 算法加持下手机端即可捕捉并实时生成体积视频，为短视频创作者提供全新表现形式。

使用者痛点三：当前拍摄仍需多角度采集且布光要求高；其实，从采集到完整模型生成常耗时数十分钟至数小时不利于实时业务需求。

A Gaussian Splatting 正引领从“记录影像”到“封存时空”的感官革命，以近乎极致真实感复刻流转时间与凝固空间。按理说，则依托端侧 NPU 与 AI 调整，让智能手机成为捕捉生活全息记忆的网站。使家庭团聚、旅行风光等瞬间得以完整保存并随时交互重访。

仍待突破：

• P1 拍摄复杂：
• P2 重建耗时：
• P3 硬件依赖：

`