前言今25年9.13日我在微博上写道“我们为何24年起聚焦具身开发呢23年我们做了一系列大模型应用发觉卷飞了c端搞不过大厂的工程迭代 流量获取b端拼不过大厂的品牌且大厂外 人人都可以搞​然具身不一样本体厂商忙于运控学校侧重科研互联网大厂还处于具身布局早期而我司『七月在线』完全可以用1-2年的时间完成积累加速推动科研到实际生产力的尽快落地”故加速推动具身前沿技术到实际生产力的落地​​算是我司『新的使命』了毕竟工厂从自动化到智能化是真真正正的新一轮工业革命谁叫​科学技术是当代第一生产力呢总之让机器人(无论是机械臂还是人形)干好活以不断提高工业生产力对我有着极大的吸引力以及极高的成就感故我愿用我余生全力推动工业生产力的不断提升人形之外对于机械臂 目前侧重精密插拔、智能装配故对这方面的论文始终保持着高度的关注加之过去半年多我们已给三个集团客户做了具身加油机器人的解决方案和汽车充电器充电 有一定的相似度故关注到了本文要解读的TA-VLA第一部分 TA-VLA阐释面向扭矩感知的视觉-语言-动作模型的设计空间1.1 引言与相关工作1.1.1 引言如TA-VLA原论文所说通过力觉线索理解物理交互对于掌握现实世界中的机器人操作至关重要。其中关节力矩是一种极具信息量的信号它能够在无需外部力传感器的情况下反映末端执行器接触动态的微妙变化[1,2,3]如图1(a)所示即使是在充电器插入这样看似简单的任务中——无接触、插入失败和成功插入——也可以通过7自由度机械臂的关节力矩曲线清晰区分。这些力矩响应提供了丰富的物理上下文信息而仅凭RGB观测是无法感知的然而尽管视觉-语言-动作VLA模型[4,5,6,7,8]在连接视觉与控制方面取得了显著进展但它们对这类物理反馈的理解和利用能力仍然有限来自1 北京智源人工智能研究院BAAI 、2 清华大学人工智能产业研究院AIR、3 南洋理工大学的研究者期望通过将力矩信号集成到预训练的VLA模型中弥合这一差距从而在不影响泛化性和可扩展性的前提下实现对接触敏感的决策然挑战在于如何将力矩嵌入到VLA架构中。力矩是一种本体感觉信号其结构与图像和语言输入截然不同且在时间上具有变化性尤其在接触丰富的阶段更为明显如图1(c)所示力矩的集成策略可以在三个维度上展开——何时即时、历史或预测、何处编码器或解码器以及如何单一token与多token。这些选项构成了一个广泛的设计空间但缺乏系统性的理解a7自由度机械臂在充电器插入任务中的力矩响应灰色阴影区域表示无接触阶段此时力矩几乎保持平稳橙色高亮段表示一次插入失败的尝试——发生了接触但插头未能插入插座仅产生微小的力矩波动绿色高亮段突出显示了一次成功的插入特征为插头完全就位时出现的显著大幅力矩峰值b7自由度机器人机械臂的可视化突出显示关节力矩的映射关系c本文探讨的基于力矩特征的设计空间涵盖当前、历史及未来信号作者使用来自所有7个关节的扭矩信号而不仅仅是末端执行器的信号由于机器人动力学的影响部分关节——尤其是靠近肩部的关节例如图1(b)中的关节2在非接触状态下也会出现运动变化例如图1(a)中的第20–36个时间戳。这些变化并非噪声并且远小于接触引起的信号见图13此外为了确保稳定性并保留有意义的模式作者对每个关节采用训练数据的统计信息进行归一化处理这与对状态和动作的归一化方法相同因此作者的动机有两方面确定对力矩感知的VLA模型最有效的设计选择总结可推广的原则以指导未来物理模态的集成作者的第一个见解是力矩信号应集成到解码器中而不是编码器通过HSIC分析[9]和消融实验第4.1节验证这种在解码器端的集成能够在动作生成过程中将力矩与其他本体感受信号如关节角度进行对齐这样的设计利用了解码器对细粒度变化的更高敏感性——这一点在接触丰富的场景中至关重要例如区分图1(a)中插头插入失败与成功的情况作者的第二个发现是历史力矩信息比单帧输入更具信息量然而注入多个token可能会干扰解码器已学习的输入模式。作者发现将整个力矩历史编码为解码器中的单一token见图4(c)能够在信息丰富性与架构稳定性之间取得平衡即解码端的单步力矩历史能够实现最佳的本体感知对齐与性能表现这一设计选择优于逐帧或在编码器端集成历史信息的方法见第4.2节从而实现了对接触动力学的稳健时序建模如图7中插入和重试过程所示作者的第三个见解是预测未来的扭矩与动作同时进行有助于构建具有物理基础的潜在空间受自动驾驶领域多任务架构的启发[10]作者提出了一种统一的动作-扭矩扩散模型详见下文的第1.2.3节该模型不仅允许策略执行动作还能够预测物理后果(参见下文图6中的预测曲线)即引入了统一的动作-力矩扩散模型从而通过力矩预测实现前瞻性学习这一辅助任务促使模型在观察之外进一步内化接触动力学最后作者宣称他们通过在10项多样化任务中的大量真实世界实验验证了他们的完整系统——其中包括5项接触丰富、对力矩反馈至关重要的任务其对应的paper地址为TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models其Submitted on 9 Sep 2025其对应的 作者为Zongzheng Zhang∗1, Haobo Xu∗2, Zhuo Yang∗1,Chenghao Yue1,Zehao Lin1, Huan-ang Gao1, Ziwei Wang3, Hao Zhao† 1,2其对应的项目地址为Torque-Aware-VLA.github.io其对应的GitHub地址为github.com/ZZongzheng0918/TA-VLA待开源————后于25年12.21日发现该项目 已于2-3个月前便已开源且他们宣称他们的最终模型π0obsobj在所有任务中相较于强大的VLA基线方法[11,7,6]见表5均取得了持续的提升并且在生成方面表现出色1.1.2 相关工作第一对于视觉-语言-动作模型近年来大型语言模型LLMs[12,13,14,15] 和视觉-语言模型VLMs[16,17,18,19,20,21,22,23] 取得了显著的成功同时生成式模型也实现了如图像生成等连续输出[24,25,26,27]这些技术为视觉-语言-动作VLA模型的出现奠定了基础该模型融合了视觉感知、语言理解与动作生成能力并展现出极强的泛化能力能够利用数百万条包含不同任务和设备的训练数据样本[28,29,30,31,32,33,34]近期关于VLA模型的研究可以根据动作生成方法分为几种模式包括基于扩散策略的模型[5,7]、基于流匹配的模型[6]以及自回归生成模型[35,4,36]例如Octo[5] 和 RDT-1B[7] 采用扩散头和transformer主干网络来预测动作而π0[6]则利用条件流匹配生成高频动作序列采用混合架构的模型进一步结合了多种生成技术以发挥各自优势。例如HybridVLA[37]在单一模型中融合了扩散和自回归方法第二对于基于力/力矩的模仿学习尽管现有的大多数模仿学习研究主要利用关节位置和视觉信息 [6,8]但将力/力矩信息作为额外输入的研究正日益受到关注。近期的研究表明力/力矩信号能够赋予控制策略处理各种现实世界任务的能力包括精细且高精度的操作 [38,39,40,41,42,43]从力/力矩信息的来源来看大多数方法依赖额外的传感器获取六维扭矩测量数据[44,45,46,47,43]这导致了更高的经济成本并在恶劣操作环境下存在局限From the perspective of sourcesof force/torque, most approaches rely on additional sensors toobtain 6D wrench measurements[44, 45, 46, 47, 43], which leads to higher economic costs and limitations in harsh operating con-ditions.此外尽管有部分工作尝试将力/力矩信息与视觉和文本输入结合但它们通常从零开始训练策略未能充分利用预训练VLA模型的优势[48,49,50,51]。例如FACTR [52] 需要复杂的训练流程来对齐不同模态且缺乏灵活性相比之下将力模态引入预训练VLA模型具有两大优势1VLA模型已经在大规模数据集上训练具备强大的跨模态学习基础因此集成新的模态更加容易2VLA模型通常能够学习跨模态的共享特征表示从而更高效地适应新模态在本工作中作者系统性地探索了如何将力信息融入预训练VLA模型使其能够作为世界模型通过对历史、当前和未来状态下视觉、力和指令的统一理解实现对环境的准确感知与预测1.1.3 扭矩是末端执行器状态的良好指示器在机器人操作中末端执行器的外部接触会在整个运动链中引发机械响应。这些响应表现为关节扭矩的可观测变化本节中作者将通过机械臂的微分运动学和动力学形式化地说明关节扭矩信号如何编码接触力信息公式化表述假设机械臂具有个自由度其关节配置向量为在存在外部接触的情况下整体动力学方程为其中其中表示指令扭矩τ_ext∈R^n 表示由于末端执行器受到外部力而产生的扭矩分量。M(q)∈R^{n×n} 为惯性矩阵C(q,˙q)∈Rn×n是科里奥利力和离心力矩阵G(q)∈Rn是重力力矩向量。其中˙q∈Rn为关节角速度向量¨q∈Rn为关节角加速度向量映射假设末端执行器与刚性环境接触并受到空间力力矩记为鉴于虚拟末端执行器位移与关节位移的关系为得到公式2其中为雅可比矩阵它将末端执行器空间的速度映射到关节空间该方程具有基础性意义它表明作用在末端执行器上的任何外力都通过雅可比矩阵的转置被投影回关节空间因此当发生接触事件例如机器人触碰到某个表面时所产生的力矩信号可以分解为这里是观测到的关节力矩则表示由于内部动力学产生的预期力矩该表达式表明只要机械臂的动力学建模足够精确通过观测关节力矩的变化就能够推断作用于末端执行器上的净外部力矩结论关节力矩向量本质上通过公式2 所描述的关系携带了关于外部接触的信息。该结果构成了基于力矩的接触估计的理论基础即通过关节力矩与标称模型的偏差来推断空间交互力从而实现无传感器的力估计、碰撞检测以及柔顺操作1.2 从感知过去(将力矩作为观测量)到预测未来(以力矩为目标)在本节中作者将力矩信号作为额外的观测量整合到VLA框架中并探究其影响。大多数VLA模型主要由两个核心组件组成条件编码器和去噪解码器本文中分别简称为编码器和解码器编码器用于感知环境具体来说编码器将图像输入和语言指令处理为统一的潜在空间以构建上下文表示而解码器则输出动作解码器对噪声输入进行逐步细化在时生成动作序列。例如RDT [7] 通过对视觉和语言特征进行交叉注意力来构建条件并采用一个在低维本体感受输入和噪声动作片段上运行的去噪主干网络类似地π0[6]利用 PaliGemma [53] 主干网络融合视觉与语言输入随后通过动作解码器进行处理以π0为代表性案例作者通过以下问题探索将力矩作为输入的设计空间应将力矩信号引入条件编码器还是去噪解码器如何利用历史力矩信号1.2.1 嵌入位置选择条件编码器与去噪解码器在每个时间步策略π0会观察多个RGB图像、一条文本指令以及机器人的关节角状态记作其中为第i张图像是语言标记序列是当前的机器人状态向量在原始π0架构中图像特征与一起构成条件上下文而作为一个token提供给去噪模块关于将扭矩信号集成到VLA架构中作者探索了两种集成方式一是将集成到编码器的输入中以利用其多模态能力二是将与一起集成到解码器中以丰富状态表示具体而言作者评估了三种嵌入的可能策略见图2编码器嵌入Enc通过适配器将编码为一个 token并与拼接作为额外的条件输入见图2(a)解码器预拼接嵌入DePre将直接集成到的零填充维度中拼接形成单一的组合token见图2(b)解码器后级拼接嵌入DePost通过适配器对进行编码并将所得的token预置到动作专家的状态输入前见图2(c)具体来说作者采用MLP作为力矩适配器。且在两个涉及大量接触的真实任务中使用三种不同的架构进行了实验结果如表1所示「不同架构在嵌入扭矩信号方面的结果」表明将力矩信号嵌入解码器优于嵌入编码器并且将其嵌入为单一token优于将其集成到原始本体感觉状态token中关于架构对比的实验对于Enc和DePost架构见图2(a)(c)作者随机初始化一个MLP用于将effort token投影到潜在空间该MLP的结构为首先将输入维度为14effort维度映射到2×width然后经过Swish激活函数再映射到width这里的width指的是模型的内部维度在Enc架构的条件编码器中为2048在DePost架构的扩散解码器中为1024π0的状态输入由14维的关节位置组成后接18维的零填充。对于DePre架构见图2(b)作者将14维的关节effort放在这个32维状态的最后14个位置该结果的原因可总结如下更优的输入对齐将力矩信号集成到解码器中优于将其置于编码器中。由于与关节角度同为本体感觉信号在去噪过程中融合它们能够更好地利用二者之间的相关性例如在富含接触的交互中表现出的连贯性和冗余性为验证这一点作者进行了实验评估输入以及动作的高维特征之间的归一化Hilbert-Schmidt独立性准则HSIC[9]值以衡量它们的相似性图3显示了——来自不同模态输入标记的隐藏状态的归一化HSIC值力矩信息(torqueinformation)与关节角度信号(joint anglesignals)之间的对齐性显著更高「Figure 3 shows thattorqueinformation is significantly more aligned withjoint anglesignals.」因此力矩信号应集成在解码器中以更好地增强本体感觉感知————为了进一步解释如附录A.3所说HSIC是一种强大的非参数度量方法能够在不对变量分布作出假设的情况下检测变量之间复杂的非线性关系。归一化HSIC的取值范围为0到1数值越高表示更强的统计依赖性为了评估模态对齐情况作者分析了在 Button Pushing 任务中使用 DePost 方法训练的 π0 模型作者将从该任务训练数据集中随机采样的帧获得的输入 token通过模型的 transformer 主干网络共 18 层进行处理随后提取这些输入 token 在第 12 层输出时的中间表示具体为隐藏状态。对于 HSIC 计算每种模态动作、角度、扭矩、图像和文本指令所用的中间 token 表示数量被下采样至 32最后利用 RBF 核函数计算每对模态之间的归一化 HSIC结果如图 3 所示解码器的敏感性编码器针对多样且模糊的视觉-语言输入而设计主要处理较粗粒度的特征而解码器则旨在捕捉输入中的细微变化为验证这一点作者分别向编码器和解码器的每个输入token添加随机噪声并评估其性能。表2显示「带有随机噪声的编码器和解码器结果」在噪声影响下解码器的性能下降更为明显表明解码器对输入变化更加敏感因此引入进行去噪能够更精细地利用细微的扭矩变化此外前拼接Pre-Concatenation方法会显著改变原始输入token相当于引入了额外噪声导致其性能较后拼接Post-Concatenation方法更差——————总之如附录A.3所示为了评估编码器和解码器对输入变化的敏感性作者在输入token中加入了标准差为0.1的高斯加性噪声对于编码器噪声被添加到所有输入token上而对于解码器噪声则专门添加到状态token即输入序列中的第一个token上。实验结果见表21.2.2将力矩作为观测量扭矩历史优于单帧与固定的语言指令和相对稳定的视觉观测不同——这些在末端执行器接触后由于遮挡而几乎没有变化——如图1所示力矩信号在接触时会发生显著变化为了捕捉力矩的动态变化仅依赖单帧力矩输入是不够的。对力矩信号的历史进行编码可以为VLA模型提供更丰富的物理交互模式从而在高接触任务中实现更优的性能为了研究编码力矩历史的最佳方式作者探索了两种策略逐帧分词将每一帧的力矩分别作为独立的token进行编码整体分词将整个历史编码为单一token为保证全面性作者还考察了历史力矩信号应插入到编码器图4(a)-(b)还是解码器图4(c)-(d)中如原论文『A.4 针对第4.2节的实验协议力矩历史编码』所述关于架构对比的实验对于历史力输入作者从过去2秒内均匀采样了10帧数据包括当前帧在H Tokens配置中每个14维的力输入token都通过与附录A.3所述相同结构的MLP独立处理并被投影到潜在空间相反在1 Token配置下所有10帧的历史力输入会被展平并拼接成一个140维的token然后输入到MLP中结果如表3所示表明将整个力矩历史作为单一token输入解码器是最佳选择其原因如下输入模式完整性聚合式分词优于逐帧分词因为大量历史分词会破坏解码器原有的输入模式完整性。为验证该假设作者分别向编码器和解码器添加额外的噪声分词如表4所示添加的噪声分词很容易干扰解码器的感知能力。这一现象在添加额外的力矩历史分词时同样存在可能会干扰解码器在预训练期间学到的模式因此即使减少历史分词可能导致信息损失破坏解码器状态模式的影响在权衡中占主导地位此外如表4所示编码器对输入模式变化表现出较强的鲁棒性并且在包含更多信息的多历史分词条件下表现更佳。然而正如第4.1节所述对力矩信号进行编码有助于本体感知对齐和更细粒度的感知因此向解码器提供单一的历史信息分词优于其他方法总之为研究输入模式的完整性作者在输入的token 序列中引入了一个额外的 token。该 token 从标准正态分布中采样并与序列中的其他 token 具有相同的形状随后作者相应地修改了输入和自回归掩码按照对 effort token 所采用的掩码模式将这一新 token 融入序列处理流程。实验结果如表4所示1.2.3 以力矩为目标预测未来第一动机目前的VLA策略仅将模态视为观测值未能充分利用机器人自身的交互动力学。受自动驾驶多任务规划[10]的启发以及作者在上文(原文第4节)中发现力矩信息是强有力的本体感知线索作者提出预测未来力矩与未来动作相结合的方法该辅助任务促使模型建立一种在物理上有依据的潜在空间从而实现更可靠的丰富接触操作第二动作-力矩扩散的统一损失接下来详细描述如何训练模型以同时预测动作和力矩在保持各自损失独立的同时共享扩散权重以提升效率设表示动作片段表示力矩片段干净的关节token可表示为作者采样高斯噪声和时间步从而形成带噪输入即如原论文「A.5 联合动作-力矩扩散目标的实现」所述为了使模型能够在进行动作预测的同时输出未来的力矩用于监督作者扩展了原始模型的动作输入和输出投影线性层的维度见图5在加载预训练权重时作者用预训练的参数对修改后权重矩阵中原动作输出维度对应的部分进行了初始化。对于新增的用于未来力矩预测的维度其权重则采用较小的值进行初始化这种初始化策略旨在初始阶段对原有预训练行为的影响最小化从而使模型能够在微调过程中逐步学习新的预测任务。预测的未来力矩序列长度为H50步与动作块的长度一致为确保动作和力矩预测均保持良好校准作者定义了两个均方误差目标其中和分别表示模型输出中的动作分量和力矩分量、分别为对应的噪声切片然而与常见方法通过独立模块或共享权重并采用不同投影头来预测多种类型输出不同为了节省成本并充分利用预训练权重作者采用了单一线性层直接输出动作和力矩的拼接预测然后再将其拆分用于各自的损失计算即最终采用两种损失的组合其中是用于平衡动作保真度与力矩精度的权重因子顺带提前说一嘴在下文的实验(表5)中对于obj设置作者将β的值设为1对于obsobj设置作者将β的值设为0.1对于ACT和RDT模型它们的推理动作范围分别为8步和64步为了评估基于动作-力矩扩散方法预测的各关节未来力矩的精度作者将其与验证数据中的真实值进行对比如图6所示「图6展示了在ButtonPushing任务上训练得到的模型的推理示例。该图将模型对每一帧预测的未来力矩与对应的三条选定轴的真实值进行了对比输入为从该任务验证数据中采样的观测帧」预测的力矩高度符合真实变化这表明通过所提出的关节扩散方法模型能够有效感知未来的变化这一能力将进一步使模型能够产生更优的动作因为关节力矩-动作预测策略通过学习动作与由此产生的力矩响应之间的因果关系加强了模型对接触动力学的理解总之通过学习统一的动作-力矩表征模型能够将本体感觉信号与预期的运动指令对齐从而提升在高接触场景下的表现1.3 实验1.3.1 实验设置对于硬件平台作者使用 Cobot Magic ALOHA这是一款每只手臂具有 7 个自由度的双臂机器人。该机器人配备了三台 D435 深度相机两台安装在手腕上一台面向前方关节力矩由机器人电机的电流推算得出。每个电机都有一个特定的电流-力矩常数该常数将电流与产生的力矩关联起来计算公式为如此通过测量供给每个电机的电流可以在无需外部力传感器的情况下实时准确地估算关节力矩对于基线方法作者与机器人操作领域的强基线方法进行对比评估ACT [11]、RDT [7] 和 π0[6]所有模型均在相同实验设置下基于作者收集的数据集从公开可用的预训练权重进行微调ACT 利用基于 Transformer 的动作分块机制而 RDT 和 π0 是两种在跨任务表现优异的最新 VLA 模型原论文附录A6.1相似说明了实验设置在π0实验中作者遵循了原始设置使用来自三个视角的图像作为输入顶部、左手腕和右手腕所有π0实验均基于其公开可用的预训练检查点并采用LoRA对编码器和解码器进行了微调训练在4块NVIDIA L20 GPU上进行了30,000步的梯度更新RDT实验采用相同的GPU配置进行了40,000步的全参数训练对于ACT作者使用了600个训练周期每个数据块大小为32所有基线模型均采用AdamW优化器。推理则是在RTX 4090 GPU上进行的。所有π0的变体均采用了50步的推理行动视野RDT则使用了64步。其他设置与原始实现保持一致。对于所有任务均通过远程操作收集了400个演示样本1.3.2 定量结果与可视化涉及将力矩信号融入π0作者对基线模型以及多种将力矩信号融入π0的方法进行了评估。具体而言作者采用了上文第1.2.2节中的DePost-1 Token架构将当前和历史的力矩观测嵌入记为π0obs上文第1.2.3节中的统一训练目标记为π0obj以及两者的组合记为π0obsobj作者在10个真实世界任务中进行了实验——包括5个高接触任务和5个常规任务表5中的结果显示无论是力矩观测(π0obs)还是基于力矩的目标(π0obj)都能提升VLA模型的性能而两者结合的方法兼具各自优势(π0obsobj)取得了整体最佳表现此外力矩信号不仅提升了高接触任务的表现也改善了在力矩相关性较低任务中的效果表明其在多样化场景下的实用性此外如原论文「A.8 系统效率」所述作者以按钮按压任务为例比较了π0、π0obs、π0obj和π0obsobj的训练与推理时间训练速度是在4块NVIDIA L20 GPU上整个训练过程中取平均值推理速度则是在一块RTX 4090 GPU上进行10次运行后取平均值结果如表7和表8所示表明所提出的设计对效率没有显著影响此外作者在按钮推送任务表9中测试了π0obj 和 π0obsobj在π0obj的情况下成功率从β0.01时的6/20上升并在0.2到1之间达到平台期因此我们设定β1对于π0obsobj在较低的β值时成功率达到峰值18/20随后在更高的β值下降因此作者将其设置为0.1以平衡新引入的两个组成部分辅助损失和力矩观测模态且作者在按钮推送任务中使用相同的超参数对三种力矩历史聚合方法进行了比较。如表10所示简单的MLP表现优于其他方法。作者认为这归因于其参数效率在微调数据有限的情况下更复杂的序列模型如RNN/注意力机制往往难以拟合且作者对所提出方法能够完成的部分高接触性任务和常规任务进行了可视化关于高接触性任务如图7所示当检测到由于对齐不准确或滑移导致关节力矩异常变化而失败的尝试时「见图7(a)-(b)中的第二和第三幅图」机器人利用力矩反馈机制能够自主重新执行动作并在第二次尝试时成功完成任务「见图7(a)-(b)中的第四和第五幅图」此外依靠力矩信号机器人还能以高精度完成多种常规任务见图7(c)1.3.3 跨模型π0之外再测试对RDT的效果为了评估力矩观测和基于力矩目标在不同VLA模型中的泛化能力作者在RDT [7] 上对接触丰富和常规任务进行了实验如表6所示同时结合力矩观测和基于力矩的目标可以显著提升性能这些结果表明上文1.2.2节(对应于原论文第4节)和上文1.2.3节(对应于原论文第5节)提出的力矩集成策略能够很好地推广到其他VLA模型如原论文「A.6.3 关于跨模型结果的详细信息」所述关于RDTobsobj模型见图11表6作者按照该模型对语言和图像适配器的处理方式将effort projector实现为一个包含单个GELU激活函数的两层MLP。该MLP将effort输入映射为2048维向量以匹配RDT变换器主干的宽度投影后的effort token随后连接在state token之后。该组合序列再与noisy actiontoken拼接形成RDT去噪过程的输入且作者扩展了状态空间的输入和输出投影器并以与π0类似的方式加载了预训练权重1.3.4 跨形态让ROKAE SR机械臂完成汽车充电器插入为了评估他们方法在不同机器人结构上的泛化能力作者在ROKAE SR机械臂上进行了实验。如图8所示机器人执行电动汽车充电器插入任务在利用力矩反馈检测到插入失败后「见图8(a」机器人在第二次尝试时成功完成了任务「见图8(b)」如原论文「A.6.4 跨实体结果的详细信息」所述为了进一步评估他们具备扭矩感知能力的VLA模型在不同机器人实体上的泛化能力作者使用ROKAE SR机械臂进行了跨实体实验具体来说作者使用200次演示训练了π0obsobj模型演示内容为机器人将快充连接器插入充电口并利用扭矩反馈引导插入过程。该模型经过5万次梯度训练如图12(a)所示成功且高可靠性地完成了快速充电插入任务为了进一步评估其泛化能力作者将任务设置中的快速充电接口更换为慢速充电接口。在不做任何架构修改的情况下模型能够无缝适应成功地将慢速充电连接器插入端口如图12(b)所示作者宣称该结果凸显了模型将感知扭矩的操作策略泛化到新末端执行器配置的能力展示了其在不同设备间的强大泛化性能1.4 结论与局限性1.4.1 结论在本文中作者将关节力矩作为末端执行器状态的有效指标进行分析并探讨如何将其最佳地融入VLA模型他们的研究发现将即时和历史力矩编码为单一解码器token能够取得最佳效果。此外通过统一扩散损失联合预测动作和力矩能够提升模型性能总之在包含丰富接触和常规任务的实验中基于力矩的增强方法的有效性和泛化能力得到了验证1.4.2 局限性该方法依赖于通过电机内部电流进行的精确扭矩估算。然而这种估算可能会受到电机校准、传感器噪声或热漂移的影响从而在长时间或高负载任务中导致性能下降——说白了如客户伙伴许总讨论时所说负载变化是个问题(负载会动态变化) 没法足够精确的校准毕竟推着油管 这个情况得考虑此外虽然扭矩信号被证明具有重要价值但该框架在扩展到其他物理模态如触觉感知或温度时的可扩展性仍不明确尤其是在transformer架构中共享token预算的情况下因此未来工作需要在更加多样化、真实的场景中评估其鲁棒性并进一步探索更丰富多模态信号的对齐与集成// 待更