30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度今天我们来深入分析一篇可能改变AI发展方向的重量级论文——Orca。这篇由北京智源人工智能研究院BAAI57位作者联合署名的研究提出了一个颠覆性的观点当前所有主流AI模型都在预测下一个Token/帧/动作的范式上走错了方向真正应该预测的是世界的下一个状态。Orca论文的全称是The World is in Your Mind于2026年6月25日发布在项目主页29日提交至arXiv。它挑战的是整个AI行业的基础范式——从GPT的下一个词预测到Sora的下一帧预测再到机器人模型的下一个动作预测Orca认为这些都只是表面的统计模仿而非真正的理解。1. 核心能力速览能力项说明项目类型世界基础模型研究论文开源团队北京智源人工智能研究院BAAI核心创新用预测下一状态替代预测下一个Token训练规模125,000小时视频、1.6亿次事件标注、1,150万VQA样本模型规模Orca-4B40亿参数多模态支持语言、视觉、机器人动作的统一表征学习范式无意识学习连续视频 有意识学习语义事件验证基准MVBench、TemporalBench、3DSRBench、SWITCH2. 范式转变的核心思想Orca的核心观点可以概括为当前AI模型都在预测输出界面的下一个单元Token、像素帧、动作指令但这只是表面的统计匹配。真正的智能应该能够理解世界的本质状态。论文给出了一个清晰的数学框架世界的状态S随时间演化变化受两部分因素驱动隐式动力学z物理规律、对象属性、场景动态、环境力场显式条件c人类指令、事件描述、任务目标当Δ0时预测未来状态Δ0时回溯过去状态。这种状态预测不同于传统的Token预测它关注的是物理实体在时空中的演化规律而不仅仅是表面的符号或像素。举个例子来说明这种区别当一个球在空中时传统模型可能关注球在画面中间这个像素信息而Orca关注的是这个球正在以9.8m/s²的加速度下落这个物理事实。前者是表面的统计模式后者是本质的物理规律。3. 婴儿式学习框架Orca提出了一个极具启发性的学习框架无意识学习加有意识学习直接借鉴了人类婴儿的认知发展路径。3.1 无意识学习无意识学习指的是直接从连续视频中学习物理规律不需要任何标注标签。就像婴儿通过观察世界自然理解物体运动规律一样Orca从125,000小时视频中捕获密集的物理状态转换——每一帧之间的变化、物体运动轨迹、碰撞因果关系。这个过程完全依靠自监督信号不需要人工标注。3.2 有意识学习有意识学习则使用语言描述的事件和视觉问答来组织因果结构。比如球落地了、门被打开了这类有意义的语义事件帮助模型将连续的世界经验转化为可推理的因果模式。这种二分法的设计体现了Orca的宏大野心它不是在做一个更好的视频模型或语言模型而是试图构建一个通用的世界基础模型能够同时处理语言、视觉和行动的共享世界表征。4. 最惊人的实证发现Orca论文中最令人震惊的发现出现在机器人任务测试中。在预训练阶段Orca完全没有使用任何动作标签完全零动作监督。它只是通过观看125,000小时视频来理解世界如何运转。然而当接入轻量级动作解码器进行真实机器人测试时结果令人侧目在真实机器人分布外OOD测试中Orca-4B达到了36.6%的成功率同等规模的专业机器人基线模型π₀.5只有27.6%的成功率差距接近10个百分点这在机器人学习领域是显著的提升这个发现的意义在于传统机器人学习需要大量昂贵的动作标签标注而Orca证明理解物理世界本身就隐含了行动能力。模型不需要被明确教导如何抓杯子只需要观看足够多次抓杯子的视频就能自然理解抓取动作的物理含义。5. 技术实现路径分析5.1 状态预测 vs Token预测从技术实现角度看Orca的状态预测与传统Token预测有几个关键区别传统Token预测的特点关注表面的符号序列模式依赖大规模文本数据的统计规律对超出训练数据分布的情况泛化能力有限需要大量标注数据来学习特定任务Orca状态预测的特点关注底层的物理规律和因果关系从连续的世界观察中自监督学习对新颖场景具有更好的推理能力一个冻结的骨干网络可服务多种下游任务5.2 多模态统一表征Orca试图构建的统一世界表征具有几个重要特性跨模态一致性语言描述、视觉观察和物理行动在同一个状态空间中对齐时间连续性状态演化遵循物理规律的时间连续性干预推理能够推理外部干预对状态变化的影响反事实推理能够进行如果...那么...式的推理6. 性能基准测试结果根据论文报告Orca-4B在多任务视频基准测试中表现优异测试基准Orca-4B得分Qwen3.5-4B得分提升幅度MVBench52.147.34.8TemporalBench50.345.84.53DSRBench53.247.16.1SWITCH51.646.65.0平均得分51.846.75.1这些结果表明基于状态预测的Orca在理解视频时序关系和3D场景结构方面具有明显优势。7. 对AI行业的影响分析7.1 算力投资逻辑的重构如果Orca的范式被证明正确当前AI行业的算力投资逻辑可能需要重新审视。传统更大模型、更多Token、更多算力的路径可能不是最优解因为状态预测更需要对物理世界的高效建模而非对文本统计分布的极致逼近。7.2 语言模型的边界重定义对于专注于语言模型的玩家Orca暗示语言可能只是世界状态的一种读出口而不是世界的全部。这要求语言模型开发者重新思考模型的边界和能力范围。7.3 机器人学习的范式变革对机器人领域而言Orca意味着可能不再需要花费巨资标注动作数据。通过让机器人观看大量视频就能获得隐含的行动能力这将大幅降低机器人学习的成本。8. 技术挑战与局限性尽管Orca提出了有前景的新方向但论文也存在一些需要关注的问题8.1 验证透明度问题论文中提到的性能提升数字均来自作者自身报告缺乏第三方独立验证具体的测试基准和评估细节披露不够充分需要更多开源社区复现来验证结果的可靠性8.2 技术实现细节缺失代码、权重和数据集的发布计划尚未明确125,000小时视频语料库的构建方法和版权情况未说明57位作者的具体机构分布和贡献分工不够透明8.3 规模化可行性疑问状态预测范式是否能够扩展到更大规模仍需验证计算复杂度和训练成本与传统方法对比不明确在实际工业场景中的落地可行性有待证明9. 相关研究对比Orca不是唯一挑战传统预测范式的研究近年来多个方向都在探索类似的思路9.1 多Token预测研究Vedant等学者的研究表明同时预测多个后续Token能强迫模型学习更高层的结构这与Orca的状态预测有相似之处。9.2 世界模型探索Google DeepMind一直在探索将世界模型用于规划和控制NVIDIA的Cosmos平台也试图构建物理世界的基础模型。9.3 Sora的原始目标虽然Sora最终被定位为视频生成工具但其最初目标也是构建世界模拟器这与Orca的愿景有共通之处。10. 实际应用前景分析10.1 机器人学习与控制Orca的状态预测范式最适合机器人领域。通过观看人类演示视频机器人可以学习隐含的行动策略而不需要昂贵的动作标注。应用场景包括工业机器人技能学习服务机器人日常操作自动驾驶场景理解无人机自主导航10.2 视频理解与生成在视频理解领域状态预测能够更好地把握场景的物理规律和因果关系提升视频分析的准确性。潜在应用方向智能视频监控异常检测体育比赛动作分析医疗手术视频理解教育演示视频生成10.3 物理仿真与模拟基于状态预测的模型可以用于更真实的物理仿真为游戏、影视特效、工业设计等领域提供支持。11. 开发与实验建议对于想要基于Orca思路进行实验的研发团队建议从以下几个方向入手11.1 数据集构建策略收集连续的长视频数据包含丰富的物理交互场景注重数据的多样性和真实性覆盖不同环境条件考虑添加多视角同步视频增强3D空间理解11.2 模型架构设计设计能够有效编码物理状态的状态表示网络开发适合状态预测的损失函数和训练目标构建灵活的多模态接口支持不同的输入输出形式11.3 评估指标体系建立针对状态理解能力的专用评估基准设计测试分布外泛化能力的挑战性任务开发可解释性工具可视化模型学习到的状态表示12. 行业影响与投资启示Orca提出的范式转变可能对AI行业产生深远影响投资者和从业者需要关注以下几个趋势12.1 技术路线重估大型科技公司可能需要重新评估现有的技术路线图考虑状态预测范式的潜在价值。这涉及到算法研究、硬件设计、数据策略等多个层面的调整。12.2 创业机会识别新的技术范式往往催生新的创业机会。在机器人学习、物理仿真、智能教育等领域基于状态预测的解决方案可能有独特的竞争优势。12.3 人才培养方向学术界和工业界需要培养既懂AI技术又理解物理规律的人才这种跨学科背景将成为未来竞争的关键因素。13. 验证与复现路径对于想要验证Orca论文结论的研究团队建议遵循以下路径13.1 概念验证实验首先进行小规模的概念验证实验使用现有的视频数据集和简化的问题设置验证状态预测的基本可行性。13.2 基准复现尝试在Orca论文涉及的基准测试上进行复现实验重点关注结果的可重复性和稳定性。13.3 扩展应用探索将状态预测范式应用到新的领域和任务测试其泛化能力和实用价值。Orca论文的价值不仅在于提出了具体的技术方案更在于启发整个行业重新思考AI发展的根本方向。在大家都在追逐更大、更多、更快的时候Orca提醒我们有时候换个问题比优化答案更重要。这种范式转变的思考对于AI研究者、工程师和投资者都具有重要的启发意义。无论Orca的具体技术方案最终是否成为主流它提出的核心问题——我们到底应该预测什么——都值得每个AI从业者深入思考。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度