从零理解 ACT 策略:Action Chunking、Transformer、CVAE、LeRobot 实现与经典论文【ACT:Action Chunking with Transformers】

📅 2026/7/15 8:58:22
从零理解 ACT 策略:Action Chunking、Transformer、CVAE、LeRobot 实现与经典论文【ACT:Action Chunking with Transformers】
前言在具身智能中,我们希望机器人能够根据摄像头画面和自身状态,完成抓取、放置、插入、开盖、整理物体等操作。一种常见训练方式是:人类先遥操作机器人完成任务;系统记录相机图像、机器人状态和人类动作;使用这些示范数据训练策略网络;让机器人根据当前观测自动预测动作。这种方法属于模仿学习。ACT 是机器人模仿学习领域中非常经典的一种策略。ACT 的全称是:Action Chunking with Transformers中文通常可以翻译为:基于 Transformer 的动作分块策略对于初学者,可以先记住 ACT 最核心的一句话:普通行为克隆每次只预测一个动作,而 ACT 每次预测未来一整段动作。ACT 最早被用于 ALOHA 双臂机器人,后来被集成到 Hugging Face 的 LeRobot 框架中。它结构相对清晰、推理速度较快,特别适合机械臂抓取、插入、双臂协作等精细操作任务。本文将从零开始,依次介绍:ACT 为什么被提出;什么是 Action Chunking;ACT 的输入和输出;ACT 的网络结构;Transformer 在 ACT 中的作用;