端到端架构完成量产化之后,自动驾驶行业的竞争焦点正在从感知—规划算法转移到两处更基础的瓶颈:**数据供给**与**评测体系**。世界模型(World Model)——学习环境动力学、能够在给定动作条件下推演未来的生成式模型——正是对这两处瓶颈的直接回应。2023 年 9 月 Wayve 发布 GAIA-1,到 2025 年,英伟达、华为、理想、蔚来、小鹏等头部企业均已将世界模型纳入官方技术架构,前后约两年时间,它从一篇论文的概念演变为行业的共识性基础设施。本文的核心论点是:世界模型在现阶段产业中的价值,主要不在于替代司机开车,而在于三重基础设施角色——其一,数据引擎,把数据生产从采集—标注升级为生成—回灌;其二,神经仿真器,为闭环评测提供可复现、可反事实的考场;其三,规划的前向推演,让策略有机会在想象中试错。围绕这三重角色,本文梳理三条技术路线(像素生成式、潜空间预测式、结构化占用式)的取舍,检视各家企业落地的实际形态,并讨论幻觉、可控性、评测循环性与算力成本四重未解难题。1.量产之后,瓶颈移向何处过去三年,端到端自动驾驶完成了从论文到量产车的跨越:特斯拉 FSD v12 起以端到端神经网络替代数十万行规则代码,国内城市领航辅助(城市 NOA)则通过BEV 感知 端到端规划的架构在多个车企规模化交付。架构收敛之后,三个更深层的问题随即浮出水面。第一,数据的长尾困境。端到端模型的性能上限由数据分布决定,而安全关键场景(如鬼探头、逆行、异常天气)在真实道路中天然稀缺,且无法通过主动制造事故来采集。采集—清洗—标注—训练的传统数据闭环成本随数据量线性增长,却无法保证覆盖率的增长——长尾恰恰藏在没被采到的那部分分布里。第二,评测的失真。开环评测(给定真实日志,度量规划器输出的位移误差)长期是行业默认指标,但 nuPlan 基准的闭环研究揭示了一个尴尬的事实:开环误差与闭环驾驶质量的相关性很弱——一个在开环指标上略优的规划器,在闭环中可能显著更差[10]。原因在于开环评测不允许规划器影响环境,掩盖了误差的复合与放大。而闭环评测若依赖真车,则昂贵、缓慢、危险且不可复现;若依赖传统仿真器,则面临内容生产成本高、仿真到现实(sim-to-real)鸿沟大的老问题。第三,规划的模仿学习困境。模仿学习存在因果混淆与分布偏移:策略学会的可能只是贴近参考轨迹而非安全驾驶,一旦自身状态偏离数据分布,表现会迅速退化。理论上,让策略在环境交互中学习(强化学习)可以缓解此问题,但直接在真实道路或高保真仿真器上做强化学习的成本同样不可承受。世界模型对这三个问题的回应遵循同一条逻辑:既然真实世界的交互与覆盖如此昂贵,就先学一个足够逼真的世界的模型,再在模型里完成生成、评测与试错。这一思路并非新事物——强化学习社区对 model-based RL 的研究已逾数年——真正的新变化是,大规模视频生成模型让足够逼真第一次在驾驶这样的复杂连续环境中成为可能。2.什么是世界模型2.1 形式化定义设环境在时刻 t 的观测为(相机图像、点云、占用栅格等),自车动作为(转向、加减速)。世界模型学习状态转移算子:或在观测空间直接建模。它有两个区别于传统轨迹预测模块的要点:1. 预测对象是环境的整体未来观测(自车视角下的图像、视频或占用序列),而非若干他车的未来轨迹包;2. 显式以自车动作为条件,因而支持反事实推演——如果我此刻刹车,场景将如何演化——这是纯预测模块不具备的能力,也是模型区别于预测器的本质。2.2 发展世界模型的思想脉络可概括为三代:第一代:想象中学习(2018)。Ha 与 Schmidhuber 的《World Models》[1]用 VAE 压缩视觉观测、用循环网络学习潜在动力学、在其上训练小型控制器,首次系统提出让智能体在自己梦里学习的范式。第二代:潜空间动力学(2020–2025)。DeepMind 的 Dreamer 系列将这一范式工程化:在 RSSM 潜空间中做长时程 rollout,策略完全在想象轨迹上训练。DreamerV3 在无任何人类数据的前提下达成《我的世界》收集钻石的里程碑,结果发表于《Nature》[2],证明了世界模型推理的跨域泛化能力。与此同时,LeCun 提出了另一条路线的纲领:批评像素级预测把算力浪费在不可预测的细节上,主张在表征空间做预测(JEPA,联合嵌入预测架构)[3]。Meta 的 V-JEPA 2 及其动作条件变体 V-JEPA 2-AC(2025)验证了这一路线的可行性——在未见过任何机器人数据的新环境中零样本完成机械臂规划[4]。第三代:驾驶领域的视频生成(2022 至今)。Wayve 的 MILE[9](2022)率先在 CARLA 中将潜空间世界模型与驾驶策略联合训练;2023 年 9 月,GAIA-1[5] 训练于约 4700 小时伦敦道路视频,其世界模型主干达 65 亿参数,实现了动作条件化的驾驶视频生成,标志着大模型 视频生成路线进入驾驶领域。OpenAI 的 Sora 技术报告将这一路线推向极致,明确以视频生成模型即世界模拟器为题[11];而 LeCun 则公开持保留意见,形成了至今未决的像素派 vs 表征派之争。2.3 与相邻概念的辨析概念与世界模型的区别传统轨迹预测模块只预测他车未来轨迹,不含自车动作条件,不支持反事实推演端到端策略模型输出动作而不显式建模未来;世界模型输出未来而不直接输出动作传统仿真器(CARLA、Omniverse 类)依赖人工构建的物理引擎与场景资产,保真度高但内容生产成本高;世界模型的物理是学出来的,内容生成成本低但可信度待验证世界模型与传统仿真器不是替代关系,而是互补与融合关系。英伟达 Cosmos 的定位——面向物理 AI 的世界基础模型平台[7]——正是把学习式生成与既有渲染/重建管线组合使用:真实数据负责打底,生成模型负责扩展。3.三条技术路线按预测发生在哪个空间,驾驶世界模型可分为三条路线,三者在保真度、可控性与算力之间构成不同的取舍:路线代表工作预测空间优势局限主要角色像素生成式GAIA-1/2[5][6]、DriveDreamer[13]、Cosmos[7]多视角视频高保真、可人工审核、天然对接现有感知评测栈扩散模型算力昂贵;物理一致性弱;误差随时程累积造数据、造场景潜空间预测式MILE[9]、Dreamer[2]、JEPA 系[3][4]压缩表征推理快、时程长,适合策略训练与想象规划不可直接人审、审计与调试困难训练场、前向推演结构化占用式OccWorld[8] 等4D 占用栅格与 BEV 感知栈天然对齐,几何与物理约束强保真度低,缺乏纹理与细粒度语义短时程预测、规划接口三点说明:1. 路线之间并非互斥。GAIA-2 在纯像素生成之外引入结构化条件(道路布局、自车动作、他车状态向量)[6],本质上是用可控性换取部分生成自由度;国内企业的量产方案普遍是多路混合——像素生成做云端场景构造,结构化预测做车端推演。2. 误差累积是像素路线的核心软肋。自回归 rollout 时,单帧的小偏差会复合放大;对造数据而言这意味着长时程生成的内容在后段趋于失真,对评测而言则限制了单次仿真的有效时长。这也是产业实践普遍从长视频生成退回到短时程、多片段的原因之一。3. 潜空间路线的可解释性短板正在被补齐。V-JEPA 2 证明了表征空间预测可以支撑零样本规划[4],但其内部表征缺乏人类可读性,一旦用于安全论证(见 4.2),审计问题会比技术问题更棘手。4.世界模型在产业中做什么4.1数据引擎:从采集—标注到生成—回灌端到端架构下,数据是唯一的性能来源,而安全关键场景的稀缺是结构性矛盾。世界模型提供了一条新的供给侧路径:**在真实采集的基础上,生成真实采集不可能得到的场景。**其独特价值在于反事实可控性。传统数据采集是被动等长尾:同一路口、同一时间,一次只能得到一种未来。而在动作条件化的世界模型中,可以从同一起点出发,只改变一个变量——行人横穿的速度、自车让行还是抢行、天气与光照——得到一组控制变量意义下的对照场景。这是任何采集手段都做不到的实验设计能力,对训练(扩充危险场景样本)与诊断(定位模型失效原因)均有直接价值。产业实践已验证这条路径:GAIA-1 证明了从 4700 小时数据到近乎无限场景生成的缩放规律[5];GAIA-2 进一步面向安全关键场景,提供对布局与他车行为的结构化控制[6];DriveDreamer 等工作则将生成目标对齐到 3D 几何真值,以保证生成内容的标注可用性[13]。需要强调的是,生成—回灌闭环必须配有**过滤与验证环节**:生成模型的分布外内容可能包含错误的物理(悬空、穿模、违背因果的运动),不加甄别地回灌会污染训练分布。安全关键数据的生成,验证成本往往不低于生成成本本身。4.2 评测:神经仿真器与闭环考场nuPlan 用 1500 小时真实日志构建了第一个大规模闭环规划基准,其最有价值的产出恰恰是一个否定性结论:开环指标不可信[10]。此后,闭环评测是规划评测的唯一有效形态逐渐成为行业共识,而闭环评测的瓶颈在于考题从哪来。真实回放只能考发生过的事,不能考从未发生但可能发生的事;传统仿真器能造场景,但每个场景都需要人工搭建,成本与多样性不可兼得。世界模型作为**神经仿真器**,恰好补上这一环,它带来三个传统手段不完全具备的特性:可复现:固定随机种子即可精确重放同一段仿真,这是真车测试永远做不到的;可反事实:同一考题只改一个因素,得到策略能力的对照组,支持归因分析;可扩展:场景由模型生成而非人工搭建,覆盖规模随算力而非人力扩展。头部企业均已在此布局:特斯拉在 2024 年We, Robot活动中展示了其神经世界仿真器,基于真实道路数据的重建与生成式扩展,服务于端到端系统的闭环评测;华为在 2025 年发布的乾崑 ADS 4 中提出 WEWA 架构,其世界引擎在云端生成高难场景,用于世界行为模型的训练与考核;蔚来在 NIO IN 2024 发布 NWM(蔚来世界模型),定位覆盖云端场景生成与车端推演;理想汽车同期系统阐述了 NWM 路线,定位于场景生成与闭环评测,并与其 VLA 架构协同;小鹏亦在 2024 年 AI 科技日宣布世界基座模型用于云端仿真与训练。但这里埋着一个根本性的疑问:用模型评测模型,谁来评测世界模型本身?若世界模型在安全关键场景上生成了物理上不正确的演化,它对策略的否决或通过都不可信。这一问题在第五节展开。4.3 规划:在想象中试错世界模型的第三重角色最接近它学术上的初心:让策略在想象中学习。Dreamer 系列证明,完全在世界模型 rollout 中训练的策略可以解决复杂的控制问题[2];MILE 证明,潜空间世界模型与驾驶策略的联合训练能在 CARLA 长程基准上显著超越无模型的模仿学习[9]。然而必须承认,这一角色在车端的落地形态目前是保守的。受限于车端算力与 10 Hz 级的实时性约束,当前量产可行的形态不是用世界模型做完整规划器,而是**短时程前向推演**:对少数候选动作各推演 1–2 秒的未来,以风险指标筛选,再交给下游策略执行——即预演作为安全校验,而非预演作为规划器。蔚来的车端 NWM 推演、华为 WEWA 的车端行为模型均属此列。更长期地,若表征空间预测路线持续成熟(V-JEPA 2-AC 已演示了动作条件下的零样本规划[4]),预测与规划合一的 model-based 路线有望收敛为端到端架构的下一代形态。但就目前公开证据而言,产业落地的重心仍明确偏在 4.1 与 4.2 两处——先造好训练场与考场,再谈让考场里的选手上场开车。5.未解的难题幻觉与物理一致性。生成模型追求的是看起来合理,而安全追求的是物理上正确,两者并不等价。生成内容中的悬空、穿模、违背因果的运动,对造数据是噪声,对评测是致命伤——评测工具自身的错误会系统性误导对策略的判断。且自回归 rollout 的误差随时程累积,意味着越关键的长时程场景,越难保证可信。可控性鸿沟。从文本提示到精确几何约束之间仍隔着巨大距离:工程上需要的是在 x 距离处插入一个以 v 速度切入的目标车,而生成模型擅长的是给一个大致描述。GAIA-2 的结构化条件是对这一鸿沟的工程妥协[6],离确定性控制仍有距离。评测的循环性。用世界模型评测策略,用什么评测世界模型?答案目前只能是真实道路数据与真实事故数据,这决定了神经仿真只能**渐进替代**真车验证,而非一夜替代。评测体系的可信度建设——真值锚点、误差界、适用范围声明——是与模型本身同等重要的工程。算力与产业集中。视频生成模型的训练与推理均是云端量级的开销,世界模型实际上进一步抬高了自动驾驶的资本门槛。可以预期它将加剧马太效应:评测与数据生成的质量差距,会转化为模型能力的差距,而前者直接由算力决定。路线之争未决。像素派(Sora 报告[11]、Cosmos[7])与表征派(LeCun 纲领[3]、V-JEPA 2[4])的分歧本质是预测像素是否是理解世界的必要路径。产业界的现实做法是两头下注,但长期的收敛点尚无定论。这一问题的答案,将决定 4.3 节规划合一的远期图景能否成立。参考文献[1] Ha D., Schmidhuber J. World Models. arXiv:1803.10122, 2018.[2] Hafner D., Pasukonis J., Ba J., Lillicrap T. Mastering Diverse Control Tasks through World Models (DreamerV3). Nature, 2025.[3] LeCun Y. A Path Towards Autonomous Machine Intelligence (JEPA). OpenReview, 2022.[4] Assran M. et al. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning. arXiv:2506.09985, Meta, 2025.[5] Hu A. et al. GAIA-1: A Generative World Model for Autonomous Driving. arXiv:2309.17080, Wayve, 2023.[6] Russell L. et al. GAIA-2: A Controllable Multi-View Generative World Model for Autonomous Driving. arXiv:2503.20523, Wayve, 2025.[7] NVIDIA. Cosmos World Foundation Model Platform for Physical AI. arXiv:2501.03575, 2025.[8] Zheng W. et al. OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving. ICLR, 2024.[9] Hu A. et al. Model-Based Imitation Learning for Urban Driving (MILE). CoRL, 2022.[10] Caesar H. et al. nuPlan: A Closed-Loop ML-Based Planning Benchmark. CVPR, 2021; Dauner D. et al. Parting with Misconceptions about Learning-Based Vehicle Motion Planning. CoRL, 2023.[11] OpenAI. Video Generation Models as World Simulators (Sora Technical Report), 2024.[12] 企业公开资料:特斯拉 We, Robot 发布会(2024);华为乾崑 ADS 4 / WEWA 架构发布(2025);蔚来 NIO IN 2024(NWM);小鹏 AI 科技日(2024);理想 AI Talk 与 NWM 技术分享(2024–2025)。[13] Wang X. et al. DriveDreamer: Towards Real-World-Driven World Models for Autonomous Driving. arXiv:2309.09777, 2023.