style="text-align:

left">论文原文：（可点击「阅读原文」跳转）

/>

left">https://openreview.net/forum?id=ziKFH7whvy

style="text-align:

挑战：当「静态重建」遇上「动态物理」

style="text-align:

Splatting（3DGS）技术的发展，我们已经能够以惊人的速度和照片级的保真度将现实世界数字化。

style="text-align:

重建场景本质上是「冻结」的数字孪生——它们拥有精细的几何与纹理，却严重缺失像物理世界那样交互和演化的能力。

style="text-align:

justify">当我们试图在这些场景中模拟「起火」这样复杂的物理现象时，往往面临着不可调和的技术矛盾。

style="text-align:

justify">一方面，传统的图形学流程（如基于

CFD

特效软件）虽然遵循严谨的物理定律，但其应用门槛极高。

style="text-align:

justify">它们通常要求艺术家对场景进行繁琐的手工网格重建、UV

style="text-align:

justify">面对大规模、非结构化的、不完整的真实世界扫描数据，这种「手动工坊」式的工作流显然难以扩展。

style="text-align:

为代表的视频生成模型虽然能凭空创造出视觉效果炫酷的火焰视频，但其本质仍是基于像素概率的预测，而非对物理过程的模拟。

style="text-align:

justify">这些模型往往缺乏对三维几何结构和物理守恒规律的本质理解，极易产生「物理幻觉」：例如，火焰在不可燃的金属表面凭空燃烧，或者在生成过程中扭曲了原本的场景结构。

style="text-align:

FieryGS：语义感知与物理驱动的新范式

style="text-align:

提出了一种「语义感知-物理驱动」的全新思路：与其让

去「理解」物理属性，进而利用准确的物理方程来驱动生成过程。

style="text-align:

框架，其核心在于搭建了一座桥梁，连接了大模型的常识推理能力与传统图形学的物理仿真能力。

style="text-align:

justify">系统首先利用多模态大模型（MLLM）作为「物理常识大脑」，对

3DGS

justify">随后结合基于欧拉网格的流体力学求解器，驱动火焰与烟雾的演化；

style="text-align:

justify">最后通过统一的体积渲染器，输出光影逼真、物理自洽且交互可控的燃烧效果。

style="text-align:

justify">其完整技术管线如下图所示：

style="text-align:

justify">要实现符合常识的燃烧，计算机必须具备类似人类的认知能力：「这是什么物体？」「它由什么材质构成？」「它的燃烧特性如何？」。

style="text-align:

场景不再是无意义的点云集合，而是被赋予了丰富的物理语义。

style="text-align:

分割技术将场景中的高斯基元解耦为独立的物体实例，随后通过最佳视角选择算法，将物体在该视角下的渲染图输入给大模型。

style="text-align:

justify">通过精心设计的视觉与文本提示词，大模型化身为「物理专家」，能够精准推断出场景中物体的材质语义及其对应的热物理参数：

style="text-align:

justify">精准区分桌上的乐高积木是易燃的塑料，而马克杯中的勺子是耐火的金属；

style="text-align:

justify">根据材质类别，推理出相应的可燃性（Burnability）、热扩散系数（Thermal

Diffusivity）以及燃烧产生的烟雾颜色（如木材产生白烟，塑料产生黑烟）。

style="text-align:

justify">这种基于语义的物理属性初始化，告别了传统方法中昂贵耗时的人工标注，实现了自动化的场景物理感知，其标注准确性在多个真实复杂场景中得到验证（详见论文），为后续的仿真打下坚实基础。

style="text-align:

/>

高效体积燃烧仿真

style="text-align:

justify">在获取了精确的材质属性后，FieryGS

引入了一个高效的欧拉网格流体求解器，将燃烧过程建模为严谨的流体动力学与热力学方程。

style="text-align:

justify">不同于视频生成模型的像素预测，FieryGS

中火焰的升腾、烟雾的扩散，都以纳维-斯托克斯方程（Navier-Stokes

Equations）等物理学规律为基础，受到浮力、风力、涡流以及障碍物边界条件的共同作用。

style="text-align:

还引入了精细的炭化（Charring）模型。

style="text-align:

justify">燃烧不仅仅是覆盖一层火焰特效，而是伴随着物质状态的改变，温度的扩散的复杂有机整体。

style="text-align:

模拟了热量在物体内部的传导过程，当温度超过燃点，系统会计算炭化程度并实时更新高斯点的外观属性，使其表面逐渐变黑。

style="text-align:

justify">这种从微观热力学出发的建模，使得燃烧的视觉效果不再是简单的图层叠加，而是由温度场驱动的真实材质演变，不仅呈现出令人信服的物理细节，更可服务于灾害预测等重要实际需求。

/>

统一体积燃烧渲染

style="text-align:

justify">如何将网格化的燃烧仿真数据与离散化的3D高斯点云融合，是渲染层面的巨大挑战。

style="text-align:

justify">本工作为此提出了一套统一的体积渲染器（Unified

Volumetric

justify">这一渲染器打破了传统渲染管线的边界，实现了多物理场的光影耦合：

style="text-align:

justify">基于黑体辐射定律，根据仿真得到的温度场计算火焰的物理自发光颜色；

style="text-align:

justify">根据材质推理结果渲染不同颜色的烟雾；

style="text-align:

光照模型，使火焰不再是孤立的发光体，而是成为了场景中真实的光源。

style="text-align:

justify">当火焰在木凳上燃起时，观察者不仅能看到火光本身，还能看到火光在地面上投下的摇曳倒影，以及周围物体因被照亮而产生的明暗变化。

style="text-align:

justify">这种光影解耦与再渲染，极大地提升了合成画面的沉浸感。

style="text-align:

实验结果：逼真视效，精准可控

style="text-align:

在多个真实世界场景（如室内房间、公园、花园等）的测试中，展现出了超越现有基线方法的卓越性能。

style="text-align:

justify">与视频生成模型相比，FieryGS

不仅严格保持了背景几何结构的稳定性，更展现了从点火、蔓延到熄灭的完整物理过程，兼具物理真实与视觉美观。

style="text-align:

justify">不同于「抽卡式」的视频生成，FieryGS

style="text-align:

justify">用户可以灵活地指定起火点，调整风向风力以改变火焰蔓延方向，改变燃烧强度以及燃料的物理性质等等，而系统总能生成符合物理逻辑的动态反馈。

style="text-align:

从雨到火，迈向可计算的动态孪生

style="text-align:

justify">在此之前，北京大学陈宝权教授团队已在

CVPR

重建场景中，引入物理一致、参数可控的降雨积水等动态的能力。

style="text-align:

以高斯表面表达为核心，将降雨、积水、涟漪等复杂流体现象直接绑定于高斯的几何描述之上，实现了从「静态重建」到「动态物理」的关键跨越，是

Real2Sim2Real

路径上的重要一步（项目主页：https://pku-vcl-geometry.github.io/RainyGS/）。

style="text-align:

中，团队验证了一种具有普适性的范式：以紧致、统一的

3DGS

表达作为桥梁，避免在仿真与渲染之间反复切换数据结构，从而同时保证物理真实性、几何一致性与高效性。

这一思路为真实场景中的动态孪生奠定了坚实基础。

style="text-align:

则进一步引入了真实场景的语义理解，以及与真实场景深度耦合的相互物理作用，从而实现复杂的燃烧，这一具有物理因果链条的高阶动态现象。

style="text-align:

justify">通过融合多模态大模型的常识推理能力与严谨的燃烧仿真，FieryGS

让数字孪生世界首次具备了理解材质、推断属性、并据此演化物理过程的能力。

style="text-align:

justify">从雨水的下落、汇聚与反射，到火焰的点燃、蔓延与熄灭，这一系列工作所共同指向的，并非单一视觉效果的提升，而是一条清晰的技术主线：让数字孪生世界不再只是「看起来真实」，而是真正遵循物理、可预测、可干预、可用于智能决策。

style="text-align:

为核心、融合物理建模与语义推理的动态孪生体系不断演进，其应用边界将持续拓展至自动驾驶仿真、具身智能训练、灾害推演以及复杂空间智能系统之中。

style="text-align:

的连续提出，正在逐步勾勒出一个更具「物理灵魂」的世界模型雏形。

style="text-align:

left">https://openreview.net/forum?id=ziKFH7whvy

style="text-align:

right">本文系学术转载，如有侵权，请联系CVer小助手删文

style="text-align:

justify">何恺明在MIT授课的课件PPT下载

/>

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

style="text-align:

center">CV垂直方向和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。
另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号:
CVer2233，进交流群
CVer计算机视觉（知识星球）人数破万！如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！
▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看