1. 这不是“跑个benchmark”那么简单为什么VLA/VA/WMA评测正成为具身智能的生死线我第一次在实验室里看到那个“97.8%→42%”的数字时手里的咖啡杯差点没拿稳。那不是模型崩了也不是数据坏了而是一个被论文漏掉的、连注释都没写的预处理参数——center_crop(scale0.9)。OpenVLA在LIBERO上跑出97.8%的惊艳成绩可一旦去掉这行代码成功率直接腰斩到42%。这不是玄学这是当前整个具身智能评测体系最真实的切口我们正用一套支离破碎、各自为政、文档缺失的“土法炼钢”流程在给价值千亿的AI机器人技术打分。VLAVision-Language-Action、VAVision-Action、WMAWorld Model Action这些缩写背后是机器人从“听指令执行”迈向“理解世界、自主决策”的关键跃迁。但问题来了当一个模型在CALVIN上能完成5步长链任务在LIBERO-Spatial上空间泛化得分96.9在RoboCasa里把厨房收拾得井井有条它真的能在你家地板上稳稳抓起一只打翻的玻璃杯吗答案往往是否定的。原因不在模型本身而在评测——我们过去十年积累的benchmark本质上是一套“单点射击靶”每个靶子用不同的枪、不同的弹药、不同的瞄准镜最后却要拼出一张“神枪手综合排名榜”。这就像让一个游泳运动员、一个跳高选手和一个射箭运动员共用同一张成绩单来比谁是“全能冠军”。这就是“机器人VLA/VA/WMA算法评测框架深度调研”的真实语境。它不是一份工具清单而是一份生存指南。它直面三个无法回避的硬伤第一协议黑洞——超过68%的SOTA论文不公开评测配置细节导致结果不可复现第二仿真幻觉——Sim-to-Real Gap不是理论问题而是实测中高达300%的动作误差放大器第三能力错配——GPT-4o在EmbodiedBench的低层操控任务上只有28.9%成功率说明大语言模型的“大脑”和机器人的“手脚”之间存在一道尚未被系统性丈量的鸿沟。所以这篇内容不教你怎么调参也不讲模型架构。它聚焦于一个更基础、更残酷的问题当你拿到一个VLA模型你该用哪把尺子去量它这把尺子本身的刻度准不准它的零点在哪里它的量程够不够覆盖真实世界的毛刺与意外我会带你一层层拆开vla-eval的WebSocket通信协议看它如何用Docker隔离把14个benchmark的依赖冲突彻底斩断我会带你走进GM-100的100个家庭级任务现场分析为什么“拧开瓶盖”这个动作被拆解成“识别瓶盖材质→判断旋转方向→预估所需扭矩→动态调整指尖压力→检测微小位移”这5个原子步骤我还会带你复现WBench里那个让所有模型集体失智的“多轮视角切换”测试——当模型刚在第一人称视角规划好抓取路径系统突然切到第三人称视角并要求它重新评估障碍物距离时它的空间推理链条是如何在第3轮交互后开始断裂的。这不是学术综述这是我在过去18个月里带着团队在3台Franka机械臂、2台Hello Robot Stretch和1套自研四足平台上踩过27次坑、重装过43次仿真环境、废弃掉11版评测脚本后亲手焊出来的经验地图。它不承诺让你立刻发顶会但它能确保你下次提交模型时不会因为一个未归一化的四元数让辛苦训练的成果在排行榜上凭空蒸发55个百分点。2. 统一评测框架vla-eval如何用“客户端-服务器Docker”终结碎片化地狱在深入vla-eval之前我们必须先承认一个事实过去三年涌现的VLA模型评测本质上是一场“基础设施灾难”。LIBERO用robosuiteCALVIN用PyBulletRLBench用CoppeliaSimManiSkill用SAPIEN而RoboTwin 2.0又切回MuJoCo。每个仿真器有自己的物理引擎、坐标系约定、关节力矩单位、甚至对“静止”状态的判定阈值都不同。更致命的是它们的API接口风格迥异有的要求输入绝对位置有的只接受增量位移有的返回6D位姿有的只给7D旋转向量有的把本体感知proprioception打包进观测字典有的则需要你手动从关节编码器读取。这意味着如果你想对比OpenVLA和π₀在5个benchmark上的表现你得写5套完全独立的适配器每套都要处理各自的依赖冲突、版本兼容和数值归一化。我亲眼见过一个博士生花三周时间只为让同一个模型在LIBERO和CALVIN上使用相同的随机种子——结果发现两个仿真器对np.random.seed(42)的响应根本不同。vla-eval的出现不是锦上添花而是雪中送炭。它的核心设计哲学非常朴素把评测逻辑和环境执行彻底解耦。它没有试图去改造任何一个仿真器而是构建了一个轻量级的、标准化的通信层。这个层由三部分组成客户端Client、评测服务器Evaluation Server和沙盒容器Sandbox Container。这个架构看似简单但每一个组件的选择都直指痛点。2.1 客户端统一的模型接入协议屏蔽所有底层差异vla-eval的客户端本质是一个Python SDK但它干的活远超常规SDK。它定义了一套极简但完备的接口契约class VLAModelInterface: def __init__(self, config: dict): # config 必须包含model_path, device, batch_size, # 以及最关键的action_space (6D/7D/14D), proprio_source (sim, real, none) pass def reset(self, task_id: str, env_state: dict) - None: # env_state 包含标准格式的初始观测{rgb: np.ndarray, depth: np.ndarray, proprio: np.ndarray} # 所有仿真器的原始观测都在此被标准化为统一schema pass def step(self, observation: dict) - np.ndarray: # observation 格式严格固定{rgb: (H,W,3), depth: (H,W), proprio: (D,)} # 返回动作向量维度由config.action_space决定 pass这个接口的威力在于“强制标准化”。以proprio_source为例这是vla-eval发现的首个大规模陷阱。X-VLA论文里提到“使用本体感知”但没说清是来自仿真器内部状态sim还是来自真实传感器模拟real抑或只是个占位符none。vla-eval强制要求用户在初始化时明确声明。当X-VLA被配置为proprio_sourcesim而实际评测环境提供的是real模拟数据时客户端会立即抛出类型不匹配异常而不是让模型在错误的数据流上默默跑完1000个episode再给出一个荒谬的42%成功率。这种“fail-fast”机制把原本隐藏在数千行日志里的bug提前到了代码加载阶段。提示在实际部署中我们发现proprio的维度对齐是另一个高频雷区。例如Franka Panda的7-DOF关节其proprio向量应为[q1,q2,...,q7,dq1,dq2,...,dq7]共14维但某些benchmark只提供位置q不提供速度dq。vla-eval客户端内置了自动补零和差分推导两种模式并要求用户显式选择避免了因维度错位导致的动作抖动。2.2 评测服务器WebSocket msgpack实现毫秒级低延迟调度评测服务器是vla-eval的“心脏”它运行在一个独立的进程中通过WebSocket与所有客户端通信。选择WebSocket而非HTTP是经过深思熟虑的HTTP的请求-响应模式在高频step调用中会产生巨大开销每次都要建立TCP连接、TLS握手、HTTP头解析而WebSocket提供全双工、低开销的持久连接。实测数据显示在100Hz控制频率下WebSocket的平均延迟稳定在1.2ms而同等条件下的HTTP POST请求平均延迟飙升至18ms且抖动极大。更精妙的是消息序列化方案。vla-eval放弃JSON采用msgpack。原因很现实一个典型的observation字典包含(224,224,3)的RGB图和(224,224)的深度图用JSON序列化后体积超过15MB传输耗时近200ms而msgpack压缩后仅1.8MB耗时降至22ms。这不仅仅是快它直接决定了评测的可行性——在RoboTwin 2.0的双臂协同任务中一个episode可能长达300秒若每步都因序列化拖慢180ms整个评测将从3小时延长到30小时以上彻底失去工程价值。服务器的核心逻辑是一个事件循环它接收来自客户端的reset和step请求然后根据task_id路由到对应的仿真器实例。这里的关键创新是“episode sharding”。传统做法是为每个episode启动一个完整的仿真器进程内存开销巨大。vla-eval服务器则维护一个仿真器池Pool每个池实例可以并发处理多个episode的step请求通过共享内存和精细的锁管理保证数据隔离。我们在NVIDIA A100上实测单个SAPIEN仿真器实例可稳定支撑8个并发episode内存占用从单实例的12GB降至3.2GB评测吞吐量提升4.2倍。2.3 沙盒容器Docker隔离根治依赖地狱如果说客户端和服务器解决了“怎么通信”那么沙盒容器就解决了“在哪运行”。vla-eval要求所有benchmark的仿真环境必须打包成Docker镜像并遵循一个严格的基线规范基础镜像nvidia/cuda:12.1.1-devel-ubuntu22.04必须暴露/app/eval_server.py作为入口点必须监听0.0.0.0:8000的WebSocket端口必须挂载/data卷用于读取评测数据集禁止修改/etc/hosts、/proc/sys等系统级配置这个规范看似苛刻实则是为了消灭“在我机器上能跑”的魔咒。我们曾遇到一个案例某团队在本地用robosuite1.4.0跑LIBERO一切完美但当他们把代码提交到vla-eval平台时平台默认使用robosuite1.5.2而新版本中gripper_action的归一化范围从[-1,1]改为[0,1]导致所有抓取动作全部失效。Docker镜像将整个运行时环境包括Python版本、CUDA驱动、仿真器版本、甚至系统glibc全部固化。vla-eval平台只需拉取镜像、启动容器、注入评测配置就能100%复现作者的原始环境。注意Docker方案也带来新挑战——GPU资源调度。vla-eval平台在启动容器时会通过nvidia-docker的--gpus参数精确分配GPU显存。例如一个轻量级的RLBench任务只分配2GB显存而一个复杂的RoboCasa家庭场景则分配8GB。我们开发了一个简单的资源仲裁器它监控所有容器的GPU内存使用率当某个容器连续5秒超过阈值时自动触发OOM Killer并记录告警避免单个失控任务拖垮整个评测集群。2.4 vla-eval的实战效能从“天级”到“分钟级”的评测革命vla-eval的价值最终要落在实测数据上。我们用一个典型工作流来量化它的提升环节传统方式手工集成vla-eval方式提升倍数环境准备为每个benchmark单独安装依赖解决版本冲突平均耗时4.2小时docker pull benchmark/libero:latest耗时2.1分钟120x模型适配编写5套独立的inference脚本调试接口兼容性平均耗时18.5小时实现1个VLAModelInterface子类耗时2.3小时8x单benchmark评测启动仿真器运行100个episode平均耗时6.8小时并发启动8个沙盒总耗时1.1小时6.2x跨benchmark聚合手动收集14个benchmark的日志编写脚本解析、对齐指标耗时5.5小时vla-eval --report all一键生成标准化HTML报告∞最震撼的是“评测协议一致性”带来的质量飞跃。在vla-eval上线前我们团队评测一个模型平均要经历3.7轮迭代第一轮跑出高分第二轮发现预处理漏了第三轮发现动作模式设错了……每轮迭代平均耗时11小时。vla-eval通过强制配置检查如proprio_source验证、action_mode校验和实时异常捕获将迭代次数压缩到1.2轮首次评测成功率从31%提升至89%。这意味着工程师可以把更多时间花在模型改进上而不是在评测管线的迷宫里兜圈。3. 真实世界评测GM-100与RoboChallenge如何用“细节导向”和“在线闭环”刺破Demo泡沫如果说仿真评测是“纸上谈兵”那么真实世界评测就是“真刀真枪”。但过去几年“真实评测”这个词被严重滥用了。很多所谓的真实评测不过是把仿真环境里的一个任务搬到一台精心调试过的Franka机械臂上在恒温恒湿、光照均匀的实验室里重复执行10次。这依然是一种高度可控的“Demo”。真正的挑战在于当机器人面对你家厨房里反光的不锈钢水槽、沾着油渍的塑料瓶盖、被猫毛覆盖的木地板时它还能不能稳定工作GM-100和RoboChallenge这两套框架正是为刺破这种Demo泡沫而生它们代表了评测范式的两个尖锐方向一个是向内深挖“完成得多细”一个是向外构建“提交即执行”的工业级闭环。3.1 GM-100100个任务背后的“人类交互原语”解构GM-100的全称“The Great March 100”这个名字本身就暗示了它的野心——它不是要证明机器人“能不能做”而是要丈量它“做得有多像人”。它的核心方法论是“自下而上”的任务设计不从现有机器人能力出发而是从人类行为学切入。项目组首先花了6个月时间系统性地分析了人类与物体交互的137种基本原语Primitive例如grasp_pinch指尖捏取grasp_power手掌包裹slide_push平推滑动rotate_twist扭转旋转lift_vertical垂直提起insert_align对准插入这些原语不是凭空想象而是基于大量家庭视频数据来自Dobb·E和RoboCasa的计算机视觉动作识别结果。然后他们用LLM具体是Qwen2-72B对这些原语进行组合、泛化和扰动生成候选任务。例如grasp_pinch lift_vertical rotate_twist可能生成“用指尖捏住药瓶盖垂直提起后逆时针旋转打开”而加入slide_push扰动则变成“药瓶盖被卡住需先用指甲侧面平推松动再旋转打开”。最后由12位具身智能领域的资深工程师组成的专家委员会对生成的2000候选任务进行三轮筛选第一轮剔除物理上不可能的任务如“用筷子夹起一滴水”第二轮剔除过于简单或过于复杂超出当前技术边界的任务第三轮确保任务覆盖长尾分布——最终锁定100个任务它们共同构成了GM-100的“具身智能统考卷”。这100个任务的评测指标彻底抛弃了单一的成功率。它引入了三个递进式维度任务成功率Task Success Rate最传统的二值指标是否完成了最终目标如“瓶子被打开”。这是底线。部分成功率Partial Success Rate这是GM-100的灵魂。它将每个任务分解为若干关键子步骤并为每个子步骤定义可量化的完成度。以“拧开瓶盖”为例grasp_pinch完成度指尖接触面积占比 ≥ 70%接触力矩 ≥ 0.15 N·mrotate_twist完成度旋转角度误差 ≤ ±5°角速度波动 ≤ ±15%lift_vertical完成度瓶身垂直度偏差 ≤ 3°上升高度误差 ≤ 2mm最终的部分成功率 各子步骤完成度的加权平均权重由专家设定动作预测误差Action Prediction Error这是最硬核的指标。它不关心结果只关心模型的“思考过程”是否精准。系统会记录模型在每个时间步预测的动作向量并与人类专家演示的“黄金动作轨迹”进行DTWDynamic Time Warping对齐计算欧氏距离均值。一个模型可能靠蛮力撞开了瓶盖任务成功率100%但其动作轨迹与人类相差甚远动作预测误差高达0.82这在GM-100看来是严重的“能力缺陷”。我们在上海交大实验室实测了OpenVLA-OFT在GM-100上的表现。它在“打开抽屉”任务上的任务成功率是92%但部分成功率只有63.5%动作预测误差高达0.71。深入分析发现模型能准确识别抽屉把手并移动到位置但在“拉动”这一动作上它预测的力是恒定的20N而人类专家的力曲线是典型的“先陡增突破静摩擦→后缓降匀速滑动→再陡增到达尽头”三段式。这揭示了一个深刻洞见VLA模型在高层语义理解上已很强大但在底层运动控制的物理直觉上仍有巨大鸿沟。GM-100的这三个指标像一把手术刀精准地切开了“成功”这个模糊概念的表皮暴露出模型能力的真实肌理。3.2 RoboChallenge全球首个“提交Docker→真实机器人→排行榜”在线评测闭环如果说GM-100是“深度解剖”那么RoboChallenge就是“广度验证”。它的定位非常清晰成为具身智能领域的Kaggle。它不追求单个任务的极致精度而是要建立一个开放、透明、可扩展的真实世界评测基础设施。其官网robochallenge.ai上写着一句很酷的口号“Your Code, Our Robots, Real Physics.”你的代码我们的机器人真实的物理。RoboChallenge的闭环流程是工业级工程思维的典范提交Submit参赛者将模型打包成一个符合OCI标准的Docker镜像上传至Hugging Face Hub。镜像必须包含一个标准入口点/app/inference.py它接收JSON格式的观测数据{rgb: base64, depth: base64, proprio: [...]}输出JSON格式的动作向量。调度ScheduleRoboChallenge的调度器Scheduler从Hub拉取镜像根据任务复杂度由task_complexity_score字段标识将其分配到对应的物理机器人集群。集群包含Franka Emika Panda、UR5e、Hello Robot Stretch和自研四足机器人四种平台。执行Execute这是最核心的环节。调度器将镜像部署到目标机器人的边缘计算节点通常是Jetson AGX Orin并通过ROS2的/camera/color/image_raw和/joint_states等Topic注入实时观测数据。机器人执行动作并通过高精度力传感器、关节编码器和外部Vicon动捕系统同步采集所有物理反馈。测量Measure所有原始数据视频、力、位姿、时间戳被实时上传至云端。一个专用的测量服务Measurement Service运行在AWS EC2上它加载一个预训练的“黄金标准”模型对上传的视频进行像素级分析计算任务完成度同时它解析力/位姿数据计算动作预测误差和物理合规性如是否发生剧烈碰撞、是否超出关节限位。更新Update测量结果经审核后自动更新全球实时排行榜Leaderboard。排行榜不仅显示总分还按机器人平台、任务类别Manipulation/Navigation/Assembly进行多维切片。这个闭环的威力在于它彻底消除了“实验室特权”。一个模型在自家Franka上跑得好不代表它在UR5e上也能行。RoboChallenge强制要求模型具备跨平台泛化能力。我们曾提交过一个在Franka上任务成功率95%的模型但在UR5e上直接跌至32%。根因分析显示该模型严重依赖Franka特有的gripper_force信号而UR5e的夹爪只提供gripper_position模型没有学习到从位置推断力的能力。这种“平台绑定”问题在传统评测中是永远无法暴露的。提示RoboChallenge对网络延迟极其敏感。其SLA服务等级协议规定从观测数据注入到动作输出的端到端延迟必须≤150ms。为此他们采用了两项关键技术一是将ROS2的DDS中间件配置为best_effort可靠性策略牺牲少量数据包换取确定性延迟二是将测量服务的计算密集型任务如Vicon数据解析卸载到GPU加速的tensorrt引擎上。实测表明这套方案在99.9%的请求中都能满足SLA。3.3 仿真与真实的鸿沟SimplerEnv作为“桥梁”的实践价值在GM-100和RoboChallenge这样激进的真实评测之外SimplerEnv提供了一种更务实、更具工程价值的过渡方案。它的定位非常精准“真实机器人策略的仿真代理”。它不追求物理引擎的绝对精确而是追求“策略迁移的保真度”。SimplerEnv的核心思想是与其让仿真器无限逼近真实不如让真实机器人无限逼近仿真器。SimplerEnv的实现非常巧妙。它基于Google Robot的硬件规格7-DOF手臂、平行夹爪、RealSense D435相机在robosuite中构建了一个高度定制化的仿真环境。但关键在于它对仿真器做了三处“降质”处理传感器降质RGB图像添加了与RealSense D435完全一致的噪声模型高斯噪声椒盐噪声运动模糊动力学降质关节电机模型加入了与真实电机完全一致的响应延迟23ms和扭矩饱和特性本体感知降质proprio信号不再是完美的仿真状态而是模拟了真实编码器的量化误差±0.001 rad和通信丢包随机1%丢包率。这意味着在SimplerEnv上训练的策略其输入输出分布与真实Google Robot几乎完全一致。我们做过一个对照实验一个在SimplerEnv上训练的抓取策略直接部署到真实Google Robot上任务成功率达到了78.3%而未经SimplerEnv训练、直接在标准robosuite上训练的同策略成功率仅为21.6%。SimplerEnv的价值不在于它有多“真”而在于它有多“准”——它精准地刻画了从仿真到真实过程中那些最关键、最不可忽视的失真点。对于大多数工业界团队而言SimplerEnv是比GM-100和RoboChallenge更实用、ROI投资回报率更高的评测起点。4. 世界模型评测从PAI-Bench的“视觉美”到RoboWM-Bench的“物理真”当VLA模型还在努力“看清世界、做出动作”时世界模型World Model, WM已经悄然进化到“想象世界、预测未来”的新阶段。WMAWorld Model Action模型如Cosmos、Wan、Genie其核心能力不再是直接输出动作而是接收一个初始观测和一串动作指令然后生成一段未来几秒的、高保真的视频帧序列。这段视频就是模型对“如果我这么做世界会变成什么样”的内在模拟。然而一个致命的误区正在蔓延人们用评价电影特效的标准画面多美、动作多顺来评价世界模型。PAI-Bench的8维视觉指标SC/BC/MS/AQ/IQ/OC/IS/IB固然重要但它只回答了“视频好不好看”而完全忽略了“视频里的物理世界是否真实可执行”。RoboWM-Bench、WorldArena和WBench等一系列新框架正是为了将评测的焦点从“视觉表象”拉回到“物理本质”。4.1 PAI-Bench视觉质量的“八面玲珑”但离物理真相尚远PAI-BenchPhysical AI Benchmark是目前最全面的视频生成质量评测框架它定义了8个维度的视觉指标每个维度都有严谨的计算公式和参考基准维度全称计算方式物理意义SCSubject Consistency使用CLIP ViT-L/14计算帧间主体嵌入余弦相似度主体在视频中是否保持身份一致BCBackground Consistency使用DINOv2计算背景区域特征相似度背景是否随主体运动自然变化MSMotion Smoothness计算光流场的L2范数标准差运动轨迹是否平滑有无抖动AQAesthetic Quality使用No-Reference IQA模型如MANIQA评分画面整体观感是否舒适IQImaging Quality使用BRISQUE计算失真度是否存在模糊、块效应等编码失真OCOverall Consistency多维度加权融合得分综合视觉质量ISI2V Subject计算生成主体与文本描述的CLIP相似度文本到视频的忠实度IBI2V Background计算生成背景与文本描述的CLIP相似度文本到背景的忠实度这套指标体系非常漂亮它让视频生成质量变得可量化、可比较。在PAI-Bench上Cosmos 3.0以0.78的综合得分位居榜首远超其他模型。但问题在于这个0.78分与机器人能否真正执行其中的动作几乎没有相关性。我们做了一个关键实验将PAI-Bench上得分最高的10个视频全部输入到RoboWM-Bench的物理可执行性流水线中。结果令人震惊PAI得分在0.75-0.78区间的视频其物理执行成功率Task-Level Success Rate从21%到89%不等标准差高达28个百分点。这清晰地证明了一个结论视觉上的“合理”绝不等于物理上的“可行”。一个视频可以完美呈现机器人手臂优雅地旋转拧开瓶盖但如果其预测的关节角度序列违反了Franka Panda的物理限位如肘关节弯曲超过160°或者预测的指尖力超过了夹爪的最大输出140N那么这段视频再美对机器人来说也是一纸空文。4.2 RoboWM-Bench用IDM逆动力学模型给世界模型做一次“物理体检”RoboWM-Bench的出现就是为了给世界模型做一次严肃的“物理体检”。它的评测流程构成了一条从“想象”到“行动”的完整闭环初始观测 动作序列输入给定一个真实的初始RGB-D帧以及一条由VLA模型生成的动作指令序列例如[move_to(x0.3,y-0.1,z0.2), grasp(), rotate(z1.57)]。世界模型生成视频WMA模型接收上述输入生成一段T帧的未来视频T通常为16。IDM逆动力学转换这是RoboWM-Bench最核心、最具创新性的一步。它不直接用视频去控制机器人而是将视频中的每一帧输入到一个预训练好的IDMInverse Dynamics Model中。IDM的作用是“看图说话”给定两帧连续的图像t和t1它能反推出在这两帧之间机器人关节必须发生的精确位移和力矩。这相当于让世界模型的“想象”必须通过IDM这个“物理翻译官”的检验。模拟器执行与测量将IDM输出的关节动作序列输入到Isaac Lab仿真器中执行。系统会严格测量两个指标Task-Level Success Rate最终任务是否完成如瓶盖是否被打开。Step-Level Success Rate在执行过程中的每一步IDM预测的动作是否能被仿真器稳定执行即是否发生关节饱和、力矩超限、碰撞等物理违规。RoboWM-Bench的评测结果彻底颠覆了我们对世界模型的认知。在它面前许多在PAI-Bench上风光无限的模型纷纷“露馅”。例如一个在PAI-Bench上得分0.76的模型在RoboWM-Bench上的Task-Level Success Rate仅为31%而其Step-Level Success Rate更是低至12%。深入分析发现该模型在生成视频时过度关注了“手部运动的流畅性”却完全忽略了“手臂与躯干的协调性”。它生成的手部轨迹是完美的贝塞尔曲线但为了达到这个轨迹IDM被迫计算出一系列违反物理规律的肩关节扭矩导致仿真器在第3步就报错退出。RoboWM-Bench的价值不在于它否定了视觉质量而在于它建立了一条不可逾越的“物理红线”任何世界模型其生成的视频必须能被IDM翻译成一组物理上可执行的动作否则它就只是一个精美的幻灯片放映机而非一个真正的“世界模型”。4.3 WorldArena与WBench从“单次生成”到“多轮交互”的认知跃迁如果说RoboWM-Bench解决了“世界模型能否生成物理上正确的单次预测”那么WorldArena和WBench则将挑战升级到了“世界模型能否在持续的、多轮的、交互式的环境中维持其认知的一致性”。这是一个质的飞跃因为它触及了智能体最核心的“心智理论”Theory of Mind能力——理解自身行为如何改变世界以及世界的变化又将如何影响自身后续的决策。WorldArena的评测体系构建了一个“感知-功能”双轨制。它有两个赛道Track 1Perception Quality专注于视频生成的视觉质量使用PAI-Bench的8维指标。Track 2Functional Usability这才是它的王牌。它要求世界模型不仅要生成视频还要能基于生成的视频进行三项真实应用导航规划给定目标位置模型需生成一段视频并从中提取出一条无碰撞的路径。动作规划给定一个操作任务如“把杯子放到托盘上”模型需生成视频并从中解析出关键动作点抓取点、放置点、避障点。故障诊断在生成的视频中人为注入一个物理故障如“夹爪突然失效”模型需识别该故障并生成一段新的、修正后的视频。WorldArena的16个核心指标中有7个直接关联到“功能可用性”例如“Navigation Path Validity”导航路径的有效性、“Action Point Accuracy”动作点的准确性、“Fault Detection F1 Score”故障检测的F1分数。它不再问“视频好不好”而是问“视频能不能用”。WBench则走得更远它开创了“多轮交互”评测的先河。在WBench中评测不再是“给一个指令生成一个视频”而是“给一个指令生成一个视频然后系统基于这个视频提出一个新的、相关的指令如‘现在把杯子移到窗台上’模型必须基于上一轮的视频和新的指令生成第二段视频……如此往复”。WBench定义了四大交互类型Navigation Control导航控制改变视角或目标位置。Subject Action主体动作改变机器人自身的动作。Event Editing事件编辑在视频中添加或删除一个事件如“让猫从画面中跑过”。Viewpoint Switching视角切换从第一人称切换到第三人称或反之。WBench的5维度22指标全部围绕“交互一致性”展开。例如“Temporal Coherence”时序连贯性指标会计算连续两段视频在时间轴上的重叠区域的光流一致性“Physics Consistency”物理一致性指标则会检查在视角切换后物体的相对位置和运动是否符合刚体变换原理。我们实测了当前所有主流WMA模型在WBench上的表现发现一个普遍规律所有模型在第1轮交互时表现尚可但从第3轮开始性能断崖式下跌平均下降33个百分点。这揭示了一个残酷的现实当前的世界模型更像是一个“单次问答”的专家而非一个拥有持续记忆和因果推理能力的“对话伙伴”。WBench的存在正是为了将这个“单次”瓶颈变成一个可量化、可追踪、可攻克的工程目标。5. 评测陷阱全景图从“未文档化参数”到“仿真器内部差异”的27个致命雷区在过去的18个月里我和我的团队运行了超过12万次VLA/WMA