前言今(26年7.4日)无意中刷到一篇新闻其中提到有一篇论文用在插拔场景中的策略跟我5.21日在给一工厂设计的电池包充电插拔方案ACT 宏观导引 真机残差 RL 微操高度吻合也是巧了(相当于各自独立摸索出来的策略)我当时之所以如此设计原因在于两点一开始即4.21日用的vla 残差RL(为何用残差RL呢因为相比纯真机RL探索轻量级残差RL的训练更快)后来5.7日工厂说节拍能否更快故我于5.7日又给工厂提供了非 VLA 的方案即经典视觉 传统力控RL则作为可选可实话讲因为非vla方案 需要严格限定各种条件故我内心是担忧的再后来5.21日跟工厂再次开会工厂希望是否能保留一些些泛化性就这样我被工厂“逼”着想出了最终ACT 残差RL的插拔方案那与我所设计策略类似的论文是哪篇论文呢便是本文要介绍的Focus-Then-Contact第一部分 Focus-Then-Contact: Speeding Up Robotic Contact-Rich Task Learning withAffordance-Guided Real-World Residual Reinforcement Learning1.1 引言与相关工作1.1.1 引言如原论文所说RL已经逐步应用在机器人的各类任务中。而传统RL一般依赖于先在仿真中的训练可许多接触密集型任务需要极高的进度故对仿真引擎提出了极高要求好在后来出现的人类在环的真实世界强化学习使得将物理环境转化为实用的、可交互的 RL 训练平台成为可能Luo et al., 2024即SERL; 2025即HIL-SERL比如HIL-SERL详见本博客中的解读《HIL-SERL——结合“人类离线演示、在线策略数据、人工在线干预”的RL方法直接真实环境中RL开训可组装电脑主板和插拔USB》这种范式摆脱了对传统仿真引擎的依赖而在人类在环的真实世界 RL 训练中引入人类示范干预甚至可以将接触密集型任务的成功率提升至 100%Chen et al., 2025 即ConRFT; Strangh¨oner et al., 2025 即SHaRe-RL; Luo etal., 2025然而由于在真实世界中可进行的交互次数极为有限人类在环的方法需要人类专家投入大量时间通过示教来引导机械臂完成任务因此人类在环真实世界 RL 的核心挑战在于在极其有限的物理交互下如何才能高效地学习到鲁棒且精确的控制策略一种提升强化学习RL策略的有前景的方法是将其与模仿学习IL相结合Yuan et al., 2025bPolicy decorator: Model-agnostic online refinement for large policy modelChu etal., 2025Sft memorizes, rl generalizes: A comparative study of foundation model post-training该文献对基础大模型的后训练阶段进行了对比研究指出监督微调SFT倾向于使模型死记硬背而强化学习RL能增强其泛化能力IL 提供了一个基础动作用于对探索过程进行正则化而在线 RL 则通过与环境交互来提升策略性能然而现代的 IL 模型例如 Vision-Language-ActionVLA具有复杂的架构这使得直接应用 RL 方法变得具有挑战性Li et al., 2025aSimplevla-rl: Scaling vla training via reinforcement learningLuet al., 2025aZang et al., 2025Rlinf-vla: A unified and efficient framework for vla rl training该文献构建了一个用于将VLA基础大模型与强化学习在线微调进行联合训练的统一且高效的训练框架RLinf-VLA一个自然而然的想法是Residual RL通过针对这些问题提供一种更简单但同样有效的解决方案其核心概念是固定一个由 IL得到的“基础策略”并训练一个轻量级的“残差策略”以在实际运行时迭代地调整基础策略的输出Alakuijala et al., 2021Residual reinforcement learning from demonstrations该文献探索了如何结合已有的行为演示来通过残差强化学习Residual RL改善和纠正控制策略Ankile et al., 2025aResidual off-policy rl for finetuning behavior cloning policies该文献开发了ResFiT框架通过离策残差强化学习对经典的行为克隆模仿学习策略进行后续微调然而这一方法在有人参与的人机交互真实环境强化学习RL设置中尚未充分展示其潜力。除此之外许多当前的方法依赖稀疏奖励这会导致探索效率较低Xu et al., 2024Rldg: Robotic generalist policy distillation via reinforcement learning详见本博客中的解读《知识蒸馏RLDG先基于精密任务训练RL策略(HIL-SERL)得到的RL数据去微调OpenVLA最终效果超越人类演示数据》Dong et al., 2025Expo: Stable reinforcement learning with expressive policies该文献提出了一种与高表达能力流策略相结合的稳定、高效的残差强化学习算法架构EXPOAnkile etal., 2025a对此作者认为需要设计一种稠密奖励Li etal., 2026bBoostAPR: Boosting automated program repair via execution-grounded reinforcement learning with dual reward models该文献利用基于代码执行落地的强化学习和双奖励模型来显著提升和增强自动程序修复APR的能力以引导智能体逐步聚焦到有助于任务完成的感兴趣区域ROI一个有前景的方向是引入可供性affordance即环境中物体的可行动属性它可以引导智能体的注意力指向ROIBahl et al., 2023Affordances from human videos as a versatile representation for robotics该文献将从人类日常行为视频中提取出的可操作性Affordance视为一种通用的、跨任务的机器人空间动作表征Lee et al., 2025Affordance-guided reinforcement learning via visual prompting该文献探讨了利用大模型配合视觉提示生成可操作性信号以计算稠密过程奖励从而引导强化学习训练的方法KAGI然而目前用于预测或提取可供性的模型Achiamet al., 2023即GPT4Carion et al., 2025即Sam 3: Segment anything with concepts通常规模较大这可能会在真实世界的 RL 场景中阻碍推理速度最终来自1 School of Data Science, The Chinese University of Hong Kong, Shenzhen、2 DexForce Co., Ltd的研究者文提出了一种名为 Focus-Then-Contact(FTC)的方法这是一种轻量且低成本的人在回路真实世界强化学习框架专为接触密集、细粒度操作任务而设计FTC 从三个关键维度推进了当前技术水平基于残差强化学习的基础动作利用残差强化学习来细化模仿学习IL得到的基础策略从而生成基础动作。该基础动作为探索提供了起点使系统能够聚焦目标区域降低在真实世界环境中学习的复杂度基于关键帧的可供性引导为最大限度减少基于接触的无意义试错FTC 提供源自关键帧可供性的连续学习信号作者从示教数据中提取目标关键帧并采用时间上一致的视觉编码器来度量当前嵌入与目标嵌入之间的距离在杂乱场景中通过人类在环实现接触为促进精确交互FTC 采用双腕部相机配置并在杂乱环境中对夹爪和目标物体都加入旋转泛化能力。人类专家可以通过一个定时干预窗口进行介入1.1.2 相关工作首先对于人类参与环节的现实世界强化学习系统近期的工作已经成功地将人类干预整合到策略训练过程中Kelly 等2019即Hg-dagger: Interactive imitation learning with human expertsRetzlaff 等2024即Human-in-the-loop reinforcement learning: A survey and position on requirements, challenges, and opportunities该文献全面而系统地综述了人在环路强化学习HITL-RL领域的核心需求、所面临的关键挑战以及未来发展机遇并利用强化学习方法来优化策略性能从而实现对机器人进行精确且灵巧的操作例如 SERL 和 HIL-SERL利用得益于人类引导的优势近期工作大幅提升了机器人在灵巧操作任务中的性能HitL 通过评估扩散策略的不确定性来引入人类辅助He et al.,2025即Uncertainty comes for free: Human-in-the-loop policies with diffusion models而Rac则直接从人类纠正中学习策略恢复用于解决长时程任务Hu et al., 2025即Rac: Robot learning for long-horizon tasks by scaling recovery and correction详见本博客中的解读《RaC——挂衬衫且打包外卖盒如果机器人将失败则人类让其先回退后纠正以减缓IL中的误差累积(让数据的增长对任务促进的效率更高)》基于人类参与在环human-in-the-loop的强化学习系统近期工作也在微调 VLA 模型方面取得了进展Xu et al., 2024Lu et al., 2025b即Human-in-the-loop online rejection sampling for robotic manipulation该文献展示了一套人在环路的在线拒绝采样策略用以优化机器人多阶段操作的轨迹合理性Kawaharazuka et al., 2025ConRFT 结合行为克隆和 Q-learning以实现高样本效率Chen etal., 2025详见本博客中的解读《ConRFT——Consistency Policy下RL微调VLA的方法先通过示教数据离线微调(Cal-QL的Q损失基础上引入BC损失)后在线RL微调(引入RLPD的新老数据对称采样及人工干预)》而 HAPO 则通过人类干预来对齐动作的参考有助于让 VLA 模型避免产生不满意的运动Xia et al., 2025即Human-assisted robotic policy refinement via action preference optimization该文献提出通过人类在线干预来对齐和优化机器人的动作参考偏好HAPO以防VLA大模型产生不合理的错误运动然而这些工作都需要长期的人类干预以及大量计算资源才能完成其次对于残差强化学习Residual RL系统与其微调整个策略网络残差强化学习系统更侧重通过一个轻量级网络来学习校正从而在提供安全性保证的同时提高样本效率Alakuijala 等2021Silver 等2018即Residual policy learning该文献提出了残差策略学习Residual Policy Learning的基础数学框架奠定了在已有基础控制器上学习残差项的理论基础Johannink 等2019即Residual reinforcement learning for robot control该文献将残差强化学习技术正式扩展到复杂的机器人物理控制任务中以兼顾控制安全保证和策略采样效率近期工作在利用残差强化学习解决机器人操作任务方面取得了显著进展DP-RRL和 EXPO 将残差强化学习应用于流式策略flowpolicies在引入残差的同时保留了流式策略的表达能力Dong 等2025Li 等2025bResFiT 使用残差强化学习系统完成了高自由度(DoFs)任务Ankile 等2025aCR-DAgger 将人类在环human-in-the-loop与模仿学习IL相结合并从人类纠正中学习即Xu 等 2025Compliant residual dagger: Improving real-world contact-rich manipulation with human corrections该文献开发了CR-DAgger算法通过将人在环路纠错机制与残差模仿学习相融以解决柔顺的富接触装配控制然几乎所有的最新工作在强化学习训练中都采用稀疏奖励设定即只有在任务接近完成或成功完成时才给予奖励这会导致大量无效的探索以及缓慢的训练收敛最后对于机器人操作的可供性Affordance可供性作为一种空间表征方式在机器人操作领域被广泛使用Manuelli et al., 2019Ardón et al., 2020Gao Tedrake, 2021Curtis et al., 2022; Xu et al.,2026通过预测不同形式的可供性表征已有工作在面向真实场景机器人操作的视觉-语言模型VLM中取得了成功Bahl et al., 2023Yuan etal., 2025aLiu et al., 2024作为物体交互的一种有效指导信号近期工作也将强化学习RL系统与可供性信号进行集成Brohan et al., 2023Fang et al., 2023KAGI 利用 VLM 从机器人观测中生成可供性然后计算稠密奖励以指导 RL 训练Lee et al., 2025然而VLM 推理的高计算开销无法满足真实场景中的 RL 训练需求因此作者决定采用了一种更轻量的方式为真实环境下的 RL 训练提供由可供性引导的奖励1.1.3 问题形式化对于目标条件部分可观测马尔可夫决策过程作者将真实世界中的强化学习机器人高接触操作任务形式化为一个无限时域的目标条件部分可观测马尔可夫决策过程(GCPOMDP)Sutton Barto, 2018由元组定义其中在观测空间内每个观测由两部分组成本体感知()和视觉输入()本体感知包括末端执行器的6D 位姿以及其线速度、角速度和6 维力-矩向量同时表示由位于末端执行器两侧的腕部相机拍摄的RGB 图像记录机器人、工作空间环境以及周围背景的完整信息作者将状态总结为且每个表示动作空间动作表示末端执行器相对于上一帧的6D 位姿增量并使用一维离散值0/1 来控制夹爪的开/关表示奖励函数通常由可供性引导的奖励和稀疏任务奖励组成表示转移动作函数将状态-动作对映射到未来状态的分布表示初始状态分布表示折扣因子表示机器人手臂在完成任务后到达的目标不同的末端执行器6D 位姿表示一个函数将状态空间中的视觉观测映射到目标空间中的目标在该GCPOMDP下目标是学习一个控制策略以最大化折扣累计回报状态-动作价值函数可以估计为其中表示任务范围作者的方法基于一个离线策略强化学习算法Soft Actor-Critic (SAC) (Haarnoja et al., 2018)我们希望求解其中是一个正则化系数用于控制熵项的重要性与HIL-SERL 中采用的人在回路方法一致人类专家可以在RL 训练过程中随时进行干预动作模式根据干预切换为。此类干预被单独存储到RL 回放缓冲区和专家示范缓冲区1.2 First ”Focus” Then ”Contact”的完整方法论作者提出的方法 Focus-Then-ContactFTC由离线IL 预训练阶段和在线RL微调阶段构成。整体框架包含三个主要组件残差强化学习设计基于可供性affordance的奖励机制以及人类参与的人机闭环真实世界强化学习系统具体如图 1所示1.2.1 现实世界中的残差强化学习BC 过程产生一个基础策略它在任务成功率上提供了一定的保障但仍有提升空间为此冻结π base 并引入一个残差策略来纠正所犯的错误从而提升整体性能。用于学习残差策略的残差网络非常轻量仅由两层MLP 和层归一化组成这样的设计确保了两个关键方面与松散耦合从而能够无缝集成不同的基础策略帮助RL 更快地到达目标区域从而减少探索在残差学习框架中作者将动作分解为两个部分基础动作和残差动作。也需要存储在和中由于动作包含三个表示欧拉角旋转的维度旋转通常不能直接相加。然而这对神经网络的收敛性没有显著影响。因此时刻的总动作为残差策略通过细化基础动作来学习如何调整它以纠正错误并提升性能。但当人类进行干预时此刻采取的动作并未考虑基础策略(说白了人工干预动作最大)仍然是最终输出的动作为了在残差框架中表示状态-动作价值需要修改贝尔曼方程以近似基础动作与残差策略动作之和的Q 值因此应当用如下方式计算Q 值于是问题变为在与环境交互的过程中基础策略每次都会输出末端执行器姿态的相对取值。为了降低RL训练的难度作者不让残差策略输出所有 k 个数值。相反它只输出第一个数值而基础策略则利用该数值来生成最终动作1.2.2 基于关键帧的可供性引导奖励如原论文所述尽管残差强化学习residual RL可以提高采样效率但稀疏奖励仍然只能提供有限的反馈这使得现实世界中的强化学习在训练过程中难以获得有效的指导从而导致训练时间更长毕竟强化学习需要大量成功的轨迹来学习正确的策略此外现实世界中的强化学习交互频率远低于仿真环境因此需要大量正确示例才能让智能体逐步学习并完成任务这凸显了在环人类教学human-in-the-loop teaching的必要性以加速任务学习相比之下稠密奖励能够提供连续反馈更好地引导智能体走向成功FTC 旨在通过在稀疏的任务完成奖励之上增加稠密的过程奖励来提供这类反馈具体来说作者认为稠密奖励是基于可供性信息计算的传统方法通常依赖关键点来表示可供性Lee 等2025Ardón 等2020在最初阶段作者也采用了这一思路具体做法是使用VLMAchiam 等2023/目标检测 分割模型例如 SAM 3Carion 等2025并结合视觉或语言提示来识别关键点尽管 VLM/SAM 3 具有很强的泛化能力然而直接将这种方法应用于真实环境仍然存在一些尚未解决的问题开源 VLM 的泛化能力不足Li 等人2026a而收集大量数据进行微调的成本又过于高昂。相较之下闭源 VLM 在推理速度方面无法满足要求因为真实世界的强化学习需要实时给出奖励如图 2 所示SAM 3 中的目标检测会受到周围环境的影响在背景杂乱的场景中容易出错作者的实验任务设置涉及旋转泛化。在夹爪旋转过程中会出现视觉遮挡从而影响相机视野并导致感知上的潜在误差然后作者考虑基于关键帧的可供性是否可以作为一种替代方式来引导RL 朝向目标对于诸如USB 插拔之类的任务在操作过程中孔洞通常是被遮挡的但只需要关注任务完成时的目标状态在真实世界RL 训练之前会预先填充演示轨迹作者可以从中直接提取与任务完成相关的关键ROI基于此作者设计了一个稠密奖励函数将当前图像和目标关键帧都裁剪到相同的预定义ROI然后通过共享的视觉编码器进行编码奖励被计算为两个嵌入之间的距离函数接下来的问题便是选择什么样的视觉编码器了作者宣称在他们的实验中他们发现直接使用传统的视觉编码器例如 ResNet 或 ViT来计算距离并获得奖励信号会导致性能不稳定为了获得更平滑且在几何上更加一致的嵌入表示作者参考了 (Ma et al.,2023)其学习了一种自监督的最优距离函数。这可以被表述为 InfoNCE (Oord et al., 2018) 的形式其中可以被视为目标关键帧的分布为“正样本”的分布而为“负样本”的分布是一个超参数可以将其理解为一种新颖的隐式时间对比目标该目标生成在时间上平滑的嵌入从而使得距离函数可以通过嵌入空间中的距离被隐式地定义随后作者为当前任务构造奖励函数其中是一个超参数————且作者还训练了一个稀疏的二值奖励分类器并将其与结合作者宣称他们经过实验验证后发现与仅依赖稀疏奖励相比这种引导能够促进更高效且更具泛化能力的在线学习1.2.3 FTC 人类参与闭环的真实世界RL设计如上所述作者的方法使用了离策略数据、混合奖励函数并在训练策略时交替使用SAC在下文中作者将详细说明在不同任务和夹爪之间实现稳定FTC框架所需的关键设计选择。且算法1给出了FTC框架的伪代码。关于其他具体细节请参见附录B首先对于人类在环模块设计作者使用一台工业协作机械臂在坐标系方面采用工业应用中常见的工件坐标系。在实验中作者观察到在机械臂控制上人类示教与强化学习RL之间偶尔会发生冲突为了解决这一问题作者在人工示教期间引入一个短暂的干预窗口记为 W如果在该时间窗口内没有发生人类示教一旦窗口到期控制权将移交给 RL如果窗口处于激活状态但没有人类示教发生机械臂将保持静止如果人类示教持续超出该窗口则该窗口的时长将被重置其次对于奖励的可扩展性作者分别讨论稠密奖励和稀疏奖励对于稀疏奖励作者为每个任务单独训练一个二元奖励分类器比如需要为每个任务收集4 条成功轨迹和 8 条失败轨迹每条轨迹包含 50到 100 张图像。训练和推理都在一张 4090 GPU上进行共 2,000 个 epoch但总耗时不超过五分钟因此即使为每个任务单独训练一个稀疏奖励模型速度也非常快对于稠密奖励作者在所有任务中使用一个共享的视觉编码器为确保该视觉编码器能够对大多数任务进行良好的泛化作者首先在大量人类操作视频上对其进行预训练。尽管这些超出机器人控制领域的视频并非机器人控制的“域内”数据但可以被视为人类动作策略的“域内”数据图3在相同视觉编码器设置下给出了多种任务的稠密奖励曲线表明基于关键帧的奖励能够在相关任务和物体之间迁移这一结果清晰地展示了在不同高接触密集型任务过程中奖励的波动情况// 待更