「全景世界生成新标杆」目录01 为什么全景世界模型总记不住、动不对02 三大核心创新模块2.1 World360全景数据集与清洗管线2.2 DPRC密集全景射线建模2.3 GMA几何感知记忆模块2.4 三阶段渐进训练03 全景生成赛道的“中间路线”04 实验数据05 写在最后全景视频生成这条赛道今年明显卷起来了。但有个一直没解决好的老问题让模型沿着一条轨迹飞出去越飞越远画面要么开始闪烁、结构漂移要么干脆裂开。影石Insta360 研究院联合武汉大学、清华大学、UC Merced刚挂出的 PanoWorld给出的不是又一个更大的模型而是一个被多数人忽略的观察——等距柱状全景投影ERP天生旋转等变你转动一张全景图变的只是畸变分布的样子场景内容本身没动。顺着这个观察把旋转从运动里剥出去长程记忆的难题就顺了。在这套思路下PanoWorld 基于 Wan2.2-5B 做 LoRA 微调在自建的 World360 基准上把 Imagine360、Matrix-3D、OmniRoam 三个主流方法大幅甩开再靠蒸馏把生成速度拉到单张 H20 上 8 秒出 161 帧。对具身智能训练数据、无人机仿真、AR/VR 场景重建来说这是一块比显式 3D 重建更轻、比纯隐式记忆更稳的底座。当下全景生成赛道里新工作密集、同质化严重PanoWorld 真正值得写的不是又刷了一轮分而是它从头重新定义了问题的方式——这恰恰是决定一项工作能不能在拥挤赛道里站住的关键。下面拆开说。01 为什么全景世界模型总记不住、动不对现有路线基本分两类要么靠显式 3D 重建如 Matrix-3D 先做几何再渲染要么靠隐式记忆3D 点云、KV cache去回捞历史信息。但这两类都带着透视相机的假设没把全景数据的特殊性当回事——360° 画面畸变严重一点旋转就会带来视角大漂移于是记忆检索在严重畸变和旋转视角下错位越回忆越乱。图 | Matrix-3D框架另一个共性是大家习惯把旋转和平移一起学。可全景视频里旋转和平移对结构的影响完全不同硬绑在一起生成画面就会出现结构性扭曲structural warping。论文自己就抛出了这个问题记忆机制到底该怎么适配全景表征这恰恰是此前工作普遍绕不开的卡点。02 三大核心创新模块2.1 World360全景数据集与清洗管线图 | 全景原始数据标准化处理流程原始全景素材存在速度不均、旋转抖动、曝光紊乱问题预处理分三步提纯旋转解耦重投影剥离相机自身转动统一画面朝向仅保留平移带来的场景变化空间均匀重采样固定0.05米空间间隔截取帧消除悬停冗余、高速稀疏问题光照质量筛选通过亮度、对比度、Q-AI指标剔除过曝、雾天低质片段。2.2 DPRC密集全景射线建模摒弃像素级计算将全景每个像素映射为球面方向射线用球面几何约束运动变化。公式注释为纬度、为经度把平面像素转换单位球面射线统一建模远近视差。流程球面反投影→局部SE(3)运动流形构建→PRoPE射线嵌入进DiT模块。消融实验显示移除DPRC后720p赤道FID从18.86暴涨至44.06横向物体严重拉伸证明射线几何是全景保真核心。2.3 GMA几何感知记忆模块图 | PanoWorld网络框架传统记忆在视角旋转后匹配失效GMA统一查询帧与历史帧的球面射线编码空间搭配置信门控融合公式依据特征匹配可信度自适应融合历史画面陌生区域减少记忆权重避免错误残影。2.4 三阶段渐进训练图 | 三段式训练流程示意图分阶段解冻模块避免多任务梯度冲突基底微调纬度加权损失平衡全景上下画面训练权重冻结基底训练DPRC只用去旋转轨迹单独学习平移视差激活GMA长时序记忆模块使用161帧长序列训练场景一致性。03 全景生成赛道的“中间路线”把 PanoWorld 放进全景生成这条赛道位置就比较清楚了。早期360DVD打通了文本→全景视频PanoWan 把扩散模型抬到 360°Imagine360 用单张透视图做锚定但没有位姿和深度、只能平面运动Matrix-3D走显式 3D 重建渲染精度有但慢约 16.5 分钟/段且高度变化时容易模糊出空洞OmniRoam 主打长程但只在固定高度数据上训过遇到垂直指令就重影崩坏约 31 分钟/段。图 | 用于世界生成的Panorama数据集比较PanoWorld 的差异化正好卡在中间不靠显式 3D 重建 → 快利用旋转等变性 → 不用全局优化也能长程一致再蒸馏出实时版 → 8 秒。它更像是用速度和可扩展性换显式 3D 的逐点精度的那一档也是目前少有的把全景旋转等变性真正落到记忆机制里的工作。图 |实时生成演示键盘输入驱动连续帧的实时合成04 实验数据说几个关键数但得带语境。FID 从 Imagine360 的 81.18、Matrix-3D 的 34.63 压到 27.64480p、16.93720p说明整个 360° 流形上的分布保真确实更好极点畸变和赤道模糊被压住了。但 FID 是分布级指标不保证单场景逐帧准确而且全程在自家 World360 上测——大幅领先要先打这个底色。图 |全景视频生成定量结果分布保真度FID 系列与感知质量PanoWorld 全面领先轨迹控制用 PSNR 量化PanoWorld 在 480p 下从 22.83短窗掉到 20.92长窗基线掉得更狠差距反而拉大这是长程持续性更好的真实信号不过 PSNR 只衡量同轨迹下生成帧和真值多像不反映真实感和多样性而且 baseline 被插值到 81 帧对它略不公平。图 | 轨迹控制评测PSNR随时间窗拉长PanoWorld 与 baseline 的差距反而扩大长程持续性更好客观讲PanoWorld 有三个绕不开的边界旋转是预处理剥掉的模型只学固定朝向下的平移自由偏航控制在模型内部并不支持基准自建、对比只针对全景专用方法没碰通用视频世界模型实时版用蒸馏换速度质量有取舍且 50K 仿真 70K 真实之间仍有 sim-to-real gap。换句话说它目前更像一个可控、一致的飞行穿越生成器离真正开放、自由视角的沉浸式世界引擎还有距离。图 | 生成效率对比PanoWorld 实时版较 full / Matrix-3D / OmniRoam 提速一到两个数量级我的看法旋转等变性这招重新定义问题很漂亮思路大概率不止适用于全景——任何 SO(3) 等变表征都能借鉴。但旋转解耦本身也是天花板把旋转控制出让给了预处理等于限制了交互式自由相机的使用。它的真正贡献不在堆新模块而在把问题看对了。05 写在最后PanoWorld的应用场景覆盖了无人机航线仿真、VR全景内容批量生成、数字孪生城市预演等多个方向。省去实地航拍山地、高危区域靠仿真即可产出全景素材一套模型兼容地面与多高度无人机场景无需重复训练轻量化版本在单H20显卡上8秒出161帧可快速生成交互视频。开源模型与World360数据集进一步降低了全景生成领域的研发门槛。当然它目前的适用边界也很清晰无法生成车辆、行人等动态物体极端雾、暴雨场景画质会明显下滑不支持鱼眼、立方全景等投影格式200帧以上超长序列仍需分段拼接。即便如此PanoWorld的核心贡献并不在于又刷了一轮指标。它首次把全景球面旋转等变性完整落地到扩散生成框架中——DPRC射线建模解决单帧畸变GMA球面记忆消除长时场景漂移World360多高度航拍基准填补了行业数据空白。这套方案证明了与其在通用视频生成模型上做局部修补不如回到全景的物理本质把旋转等变性作为模型的先验约束。当然它离真正的开放世界引擎还有距离——旋转被预处理“剥”掉后模型本身并不支持自由的偏航控制。但它至少证明了一件事在拥挤的赛道里重新定义问题往往比堆叠模块更有效。Ref论文标题PanoWorld: Real-World Panoramic Generation论文链接https://arxiv.org/pdf/2607.09661