我们似乎Yi经习惯了被各种几秒钟的精美视频片段刷屏。然而每当这些模型试图将时间轴拉长，试图讲述一个geng漫长的故事时事情往往会变得有些“尴尬”。建筑物开始扭曲，行人的面孔在几帧后变得模糊不清，或者走着走着，整个场景的逻辑就崩塌了。这就像一个记忆力极差的画家，画完这一笔，忘了上一笔在哪里。

这种“走着走着就乱了”的现象，正是当前视频生成领域面临的Zui大痛点：长时序一致性。近日来自加州大学尔湾分校、加州大学圣地亚哥分校、香港城市大学、宾夕法尼亚大学以及Adobe Research的顶尖研究团队，联手抛出了一枚重磅炸弹——OmniRoam。这项研究不仅仅是在追求视频时长的数字游戏，geng是在试图解决“如何在长时间跨度下保持空间结构稳定与语义连贯”这一核心难题。

我们要明白，生成一个5秒钟的视频和生成一个5分钟的视频，在技术难度上完全不是一个量级。短视频生成解决的是“生成一段内容”，而长时序生成geng关心的是——模型Neng否在时间推移中持续“记住并延续”这个场景。

当生成从“几秒”走向“长时序”时问题开始显现：视角变化带来的结构漂移、时间推进中的内容不一致，使得视频在空间与时间维度上难以保持稳定。你可Neng会发现，随着相机的移动，原本在街道左侧的咖啡店，莫名其妙地跑到了右边，或者直接消失在虚空中。这种误差的累积效应，就像是蝴蝶效应，初始阶段微小的偏差，在经过几十帧的迭代后会导致整个场景的崩塌。

与此同时如何让视频生成具备可控性，Neng够沿指定路径连续移动，也成为实际应用中的关键需求。我们不仅想要kan视频，geng想要“驾驶”视频，让摄像机按照我们设想的轨迹去探索这个世界。

OmniRoam的核心贡献，并不只是生成geng长的视频，而是在长时序条件下实现了geng稳定、geng可控的生成过程。它并没有选择在传统的透视视角上死磕，而是另辟蹊径，通过全景表示提供全局空间约束，并结合轨迹控制预览与长时序细化的两阶段设计，构建了一套完整的解决方案。

传统的视频生成大多基于透视视角，这符合人眼的习惯，但在处理长轨迹时却极易丢失全局信息。OmniRoam引入了全景视频作为统一表示。这就好比给模型戴上了一副Neng够kan到360度全景的眼镜。通过定义一个规范的全景坐标系，去除相机自旋转，仅保留平移，从而大大简化了轨迹建模的复杂度。这种全局视角的引入，就像是给模型提供了一张“地图”，让它时刻知道自己身处何方，从而有效抑制了长距离漫游中的漂移。

在具体执行上，OmniRoam 会生成一个中等分辨率的全景视频预览。这一步的核心目的是确定整体路径与场景结构。你Ke以把它理解为电影的“分镜草图”。

这里的关键设计在于将相机轨迹拆解为Flow和Scale两个控制量。前者刻画运动方向，后者控制移动幅度，从而实现geng清晰的轨迹建模。在实现上，模型将输入与目标视频在时间维拼接，并通过Flow与Scale进行条件调制，使生成过程既保持内容连续，又具备明确的路径约束。

这种Preview阶段通常采用较大的Scale，类似“快进”模式，目的是快速铺陈出整个长序列的骨架和走向，为后续的精细化生成打下基础。

有了粗略的“草图”之后就进入了Refinement阶段。由于Preview通常采用较大Scale，Refinement阶段会通过Scale对齐，将视频 为geng长、geng接近真实速度的序列。

但是Ru果直接对长序列进行高分辨率生成，计算量是巨大的，而且容易导致注意力机制的失效。为此，OmniRoam设计了一个精妙的组件——Visibility Mask。

这个设计的逻辑非常聪明：每个时间段只选取少量Preview帧作为条件输入，在保留结构锚点的同时避免冗余。这就好比我们在拼图时不需要盯着每一块碎片kan，只需要找到关键的“边角块”作为定位，就Neng把周围的拼好。随后模型对各个Segment进行高分辨率生成，并拼接得到Zui终长视频。这种从“全局预览”到“局部细化”的过程，有效缓解了长序列中的误差累积问题，让每一帧dou清晰锐利，同时整体连贯流畅。

除了长视频生成Neng力，OmniRoam还展示了在效率上的惊人潜力。在AI领域，效果好往往意味着慢，但OmniRoam试图打破这个魔咒。

在效率方面作者基于Self-forcing机制，将完整模型蒸馏为一个轻量级自回归预览模型，实现了实时视频生成。该模型在保持整体场景结构的同时可在极短的时间内生成大量帧的全景视频，相比原始模型显著加速，为交互式应用提供了可Neng。

这意味着，用户可Neng不再需要等待几个小时去渲染一个长视频，而是Ke以像玩游戏一样，实时地控制视角，kan着AI即时生成眼前的画面。同时该架构还支持先生成低分辨率视频，再通过Refinement模块提升至geng高分辨率，这种灵活的生成策略兼顾了速度与质量。

为了支撑这一任务，OmniRoam团队并没有止步于模型设计，还构建了专门的数据与评测体系。在表示上，文章定义了一个Canonical Panoramic Coordinate System，去除相机自旋转，仅保留平移，从而简化轨迹建模。

数据方面结合了真实与合成两部分：真实全景视频提供多样场景，合成数据提供精确轨迹监督，并通过路径规划保证运动合理性。这种混合数据策略，既保证了真实感，又确保了可控性。

在评测上，Zui引人注目的是提出了Loop Consistency指标。这是一个非常直观且严苛的测试：要求视频沿闭环路径生成后既Neng回到起点，又保持中间过程的合理变化。这就像让你蒙着眼睛走一圈，Zui后还Neng准确回到出发点，非常考验模型的“空间记忆”。

在定性结果中，模型Neng够稳定沿指定路径生成连续视频，显著减少结构漂移与内容崩塌；而在定量指标上，均取得geng优表现。进一步分析显示，全景表示与两阶段生成设计是性Neng提升的关键，使模型在长视频场景下依然保持稳定与可控。

为了进一步分析长时序一致性，作者设计了闭环轨迹实验，并用CLIP相似度衡量模型是否Neng够“走回原点”。理想情况下随着相机逐渐远离起点，相似度应逐步下降；而在轨迹闭环时相似度应重新上升。实验数据显示，相似度在中段下降，在末尾重新回升，有力地证明了模型具备较强的长期空间记忆Neng力。

OmniRoam的Neng力边界远不止于视频播放。这些结果表明，OmniRoam不仅Ke以生成长时序视频，还Neng够作为上游模块，为实时交互与3D内容构建提供支持。

在3D应用方面OmniRoam生成的长视频可直接用于3D场景重建。作者从生成视频中均匀采样关键帧，并提取多个透视视角输入到3D Gaussian Splatting中进行重建。实验结果表明，生成视频在不同视角间保持良好的一致性，Neng够恢复出结构连贯的3D场景。

这意味什么？意味着未来我们可Neng只需要通过文字描述或简单的草图，就Neng利用OmniRoam生成一段漫游视频，然后直接将其转化为可交互的3D虚拟环境。这无疑为元宇宙、游戏开发以及虚拟现实内容的创作提供了一条极具潜力的技术路径。

视频生成的挑战，正在从“生成geng清晰的内容”，转向“如何在geng长时间内保持一致性与连贯性”。OmniRoam的出现，无疑为这一转型提供了一个强有力的注脚。

该工作通过引入全景视频作为统一表示，并结合Coarse-to-fine的分阶段生成框架，在长时序条件下显著提升了视频的空间一致性与时间连贯性，使模型Neng够生成沿指定路径连续演化的视频序列，迈出了从“片段生成”走向“连续过程生成”的关键一步。

OmniRoam提供了一种可行路径，使生成模型Neng够沿指定轨迹持续演化，为长视频生成、虚拟漫游等场景奠定了基础。它让我们kan到，AI不再只是一个会画静态图片或几秒动图的工具，它正在逐渐进化为一个Neng够理解时间、空间与逻辑的“世界构建者”。虽然距离完美的通用世界模型还有距离，但OmniRoam至少让我们确信，这条路是通的，而且风景独好。

项目主页：yuheng.ink/project-pag… 论文 OmniRoam: World Wandering via Long-Horizon Panoramic Video Generation 文章链接：arxiv.org/pdf/… 代码链接：github.com/yuhengliu02…