1. 从“感知-决策-执行”到“视觉-语言-动作”为什么自动驾驶需要VLA最近一个名为“Vision-Language-Action for Autonomous Driving”的新训练营启动了第一讲就直指行业核心。如果你还在琢磨传统的感知、规划、控制模块化架构那可能已经有点跟不上趟了。过去十年自动驾驶的主流思路是把问题拆解摄像头和激光雷达负责“看”感知高精地图和规则引擎负责“想”决策最后把指令发给方向盘和刹车控制。这套“感知-决策-行动”的流水线听起来逻辑清晰工程师各司其职但实际跑起来问题一大堆。最头疼的就是“长尾场景”。你永远无法穷举所有路况——一个穿着恐龙玩偶服的行人、一辆拖着超长树枝的三轮车、一个形状怪异的临时路障。基于规则的决策系统面对这些没见过的情况要么直接“懵了”停车要么做出危险决策。更麻烦的是错误传递感知模块如果误把一个塑料袋识别成石头这个错误会一路传到规划和控制模块导致车辆不必要的紧急制动或绕行。整个系统像一串多米诺骨牌第一块倒了后面全跟着遭殃。于是有人想能不能让车像人一样看到一个复杂场景脑子里过一下然后直接做出动作这就是“视觉-动作”模型的思路直接从图像像素映射到方向盘转角或油门开度。它简化了流程但带来了新的问题模型成了一个“黑箱”。它为什么刹车为什么转向工程师说不清监管机构不放心乘客更不敢把命交给一个无法解释的决策。而且这种端到端模型对数据分布极其敏感训练时没见过雨雾天气测试时遇到就可能直接失灵。直到大语言模型和视觉-语言模型火起来大家才恍然大悟我们缺的可能就是“语言”这个中间层。语言是人类认知和沟通的载体它天然具备推理、解释和遵从指令的能力。把“语言”引入自动驾驶就形成了“视觉-语言-动作”这个新范式。简单说VLA模型的工作流程是看见视觉→ 理解并推理语言→ 执行动作。它让自动驾驶系统不仅能“看”和“动”还能“想”并且能用人类能懂的方式把“想法”说出来。这不仅仅是技术路径的转变更是让机器智能向人类智能对齐的关键一步目标是实现更可解释、更通用、也更让人放心的驾驶策略。2. VLA的两大核心范式端到端与双系统架构之争理解了VLA的“为什么”我们再来拆解“怎么做”。目前主流的VLA框架可以归为两大类它们在设计哲学和工程落地上有根本不同你可以把它们想象成自动驾驶的“大脑”的两种组织形式。2.1 端到端VLA追求统一的“超级大脑”第一种是端到端VLA。顾名思义它追求用一个统一的模型吃掉视觉输入多摄像头视频流经过内部处理直接输出驾驶动作如转向、加速、刹车。这里的“语言”部分通常不是输出一段给人看的文字而是作为一种内部的、结构化的表示和推理机制。举个例子模型内部的“思维链”可能是这样的视觉编码器从图像中提取特征这些特征被送入一个基于Transformer的、具有语言理解能力的核心模块。这个模块会进行隐式的推理比如“前方车辆刹车灯亮起视觉特征→ 它可能在减速语言概念推理→ 我应该准备减速动作意图”。最终一个动作解码器将这个推理结果转化为具体的控制信号。它的优势很明显简洁高效没有模块间的接口损耗理论上可以实现最优的全局优化。潜力巨大能够学习到非常复杂和微妙的输入-输出映射可能处理一些规则系统无法定义的场景。但挑战也同样严峻“黑箱”难题依旧虽然引入了语言推理能力但如何让这个推理过程透明化、可验证仍然是个大问题。你很难向安全员证明模型做出某个激进超车决策时内部到底经过了怎样的“思考”。数据与算力饥渴训练一个强大的端到端VLA需要海量的、覆盖所有长尾场景的驾驶数据以及巨量的计算资源。安全验证困难在传统的模块化系统中你可以对每个模块如感知的召回率、规划的舒适度进行独立测试和认证。但在端到端模型中所有功能耦合在一起进行系统的安全测试和证明尤其是符合功能安全标准如ISO 26262是极其复杂的。2.2 双系统VLA快慢思考的“人脑分工”正因为端到端路径的挑战另一种更受工程界青睐的范式出现了——双系统VLA。这个想法借鉴了人类认知的“双系统理论”系统1是快速、直觉、自动化的系统2是缓慢、理性、需要深思熟虑的。在双系统VLA架构中“慢系统”由一个强大的视觉-语言模型担任。它负责需要深度理解和复杂推理的场景。例如面对一个复杂的施工路口交警的手势与信号灯矛盾VLM可以分析整个场景生成一个高级的、语言描述的策略“识别到交警手势为通行指令尽管信号灯为红色应遵从交警指挥缓慢通过路口并注意避让行人。”“快系统”由一个传统的、轻量级但高可靠性的规划与控制模块担任。它处理日常的跟车、巡航、换道等场景保证毫秒级的实时响应和安全性。仲裁与执行“慢系统”输出的语言化指令或转化为中间表示会被传递给“快系统”作为高层引导或参数调整。最终具体的车辆控制命令仍然由经过充分验证的“快系统”生成和执行。双系统架构的优势在于安全与可靠安全关键的实时控制部分与传统架构无异可以复用多年积累的、经过验证的算法和认证流程。可解释性强VLM的“慢思考”过程可以以自然语言的形式输出成为驾驶决策的“审计日志”。为什么这样走系统可以给出理由这极大地增强了透明度和信任度。灵活与可扩展VLM部分可以相对独立地升级和改进接入更强大的多模态大模型而无需触动底层的安全控制核心。当然它也有自己的问题系统复杂性需要设计精巧的接口和仲裁机制来决定何时以及如何将VLM的指令传递给规划器。这个接口本身的设计就是一大挑战。延迟VLM的推理速度较慢在需要快速响应的紧急场景中“慢系统”可能来不及提供指导必须完全依赖“快系统”。在实际项目中选择端到端还是双系统不是一个单纯的技术问题更是产品定位、资源投入和安全标准的权衡。追求前沿探索和性能极限的团队可能倾向于端到端而面向量产车、对安全有严苛要求的团队目前更可能从双系统架构入手将VLM作为传统自动驾驶栈的一个“智能增强插件”。3. VLA的核心技术组件拆解从数据到动作的生成无论采用哪种范式一个VLA系统都离不开几个核心的技术组件。理解这些组件就像拆解一台精密的仪器知道每个齿轮是如何咬合的。3.1 视觉编码器从像素到“概念”这是整个系统的眼睛。它的任务不是输出边界框或车道线这类传统感知结果而是将高维的、冗余的视觉输入多摄像头视频流压缩成一组富含语义的、紧凑的“特征表示”。这些特征应该能捕捉到场景中对于驾驶决策至关重要的信息物体的存在、运动趋势、交通参与者的意图如那个行人是否要过马路、场景的拓扑结构如路口类型等。现在的主流方法是使用在大规模图像-文本对如LAION数据集上预训练好的视觉编码器例如CLIP的ViT模型。这样做的好处是模型已经学会了将图像和丰富的语义概念关联起来。然后在驾驶数据上进行微调让这些通用视觉概念与驾驶场景对齐。一个关键技巧是时序建模单独一帧图像信息有限必须编码连续多帧让模型理解运动、速度和加速度这是预测未来、做出规划的基础。3.2 语言-动作桥梁指令理解与动作生成这是VLA的“大脑”核心。它接收来自视觉编码器的特征以及可能的文本指令如“在下一个路口右转”、“跟紧前车”然后需要完成从理解到决策的跨越。这里主要有两种实现路径1. 文本化动作生成模型首先生成一段描述驾驶决策的自然语言比如“减速至30km/h准备向右变道”。然后需要一个额外的、规则化的“文本到控制量”的解析器将这段文本翻译成具体的车辆控制命令。这种方式可解释性最强人类可以直接审查模型的“想法”。但难点在于自然语言描述本身可能存在歧义且这个解析过程可能引入新的错误。2. 数值化动作生成模型直接输出驾驶动作的数值如方向盘转角、加速度值。为了引入语言能力通常在训练时会让模型同时学习完成一个“语言建模”的辅助任务比如根据视觉输入预测被掩码的文本描述。这样模型在内部隐式地进行了语言推理但最终输出是直接的、可执行的数值。这种方式更简洁高效但可解释性稍弱需要借助特征可视化等工具来理解模型的决策依据。在训练策略上通常会采用多阶段训练第一阶段对齐预训练。使用海量的互联网图像-文本对让视觉编码器和语言模型学会通用的视觉概念和语言关联。第二阶段驾驶场景指令微调。使用高质量的驾驶数据集如带有语言描述驾驶行为的nuScenes、Waymo Open Dataset的扩展版本让模型学会将驾驶场景与具体的操控指令语言或动作关联起来。这里的数据标注质量至关重要需要精确描述场景中的因果关系“因为前方有车切入所以减速”。第三阶段强化学习微调可选。为了让模型学习更优的、长周期的驾驶策略可以将其置于仿真环境中使用强化学习进行优化奖励安全、舒适、高效的驾驶行为。3.3 显式与隐式引导VLA如何影响最终控制在双系统架构中VLA生成的“语言”或“策略”如何影响最终的车辆控制是一个关键设计点。主要有两种方式显式引导VLA模块输出明确的、高层级的驾驶指令或路径点。例如输出一个“在当前位置前方50米处变道至左车道”的指令或者直接输出一串未来几秒的轨迹点。然后下游的轨迹规划器和控制器会尽力跟踪这个“目标”。这种方式控制直接但要求VLA的输出必须本身是安全、平滑、可执行的这对VLA的能力提出了很高要求。隐式引导VLA模块不直接输出可执行的指令而是输出一种“场景表示”或“成本地图调制信号”。例如VLA分析场景后输出一个“施工区域风险权重增高”的信号。下游的规划器基于这个动态调整的风险地图重新进行轨迹搜索自然就会规划出一条避开施工区域的路径。这种方式更灵活将具体的运动规划留给专业的、安全的规划器VLA只负责提供高层的“价值判断”或“风险提示”更容易与传统系统集成安全性也更有保障。4. 实战视角构建一个VLA原型系统的关键步骤与坑点纸上谈兵终觉浅我们来聊聊如果今天要动手搭建一个最简单的VLA原型系统验证一个想法应该怎么走又会遇到哪些坑。这里我们以一个基于双系统架构、使用开源模型和数据的实验性项目为例。4.1 环境与数据准备万事开头难第一步选择基础模型。对于研究或原型开发直接从Hugging Face等平台选用预训练好的多模态大模型是最高效的。例如你可以基于OpenFlamingo、BLIP-2或LLaVA这类开源VLM进行改造。你需要一个既有视觉编码器如CLIP-ViT又有语言模型如LLaMA的架构。选择时需权衡模型能力越强参数量大对计算资源的要求就越高。第二步获取驾驶数据集。纯视觉的驾驶数据集如nuScenes, BDD100K是基础但它们缺少语言描述。你需要寻找或自己构建带有语言标注的数据。目前有一些新兴的数据集开始提供这种标注例如DriveLM、Talk2Car或者利用nuScenes中的场景描述caption进行弱监督。更硬核的做法是用现有的感知和规划模型在数据集上“跑”一遍自动生成“伪标签”作为训练语料比如“检测到前方车辆减速本车进行跟停”。一个巨大的坑点数据分布偏差。公开数据集的路况多为美国城市和你的目标场景可能包括中国复杂的城市场景可能差异巨大。直接在这些数据上微调的模型很可能无法处理你关心的特定场景如电动车乱穿、特殊天气。解决方案是必须预留一部分能代表你目标场景的“种子数据”用于后续的重点微调和评估。4.2 模型微调与适配让通用模型学会开车拿到了预训练模型和驾驶数据下一步就是让这个“通才”变成“驾驶专家”。关键步骤设计输入-输出格式。这是决定模型能否正确学习的关键。你需要将驾驶场景的视觉序列多摄像头、多帧图像和可能的文本指令拼接成一个符合模型预期的输入序列。例如一个经典的提示词模板可能是image image ... (多帧图像特征) Human: 请根据前方路况生成驾驶指令。 Assistant:对于动作生成输出可以是文本模式减速保持安全距离。数值模式[动作类型: 纵向控制, 值: -2.0 m/s²]微调策略通常采用指令微调。冻结视觉编码器的大部分参数因为它已经具备很好的通用视觉能力主要训练连接视觉和语言的“投影层”Adapter以及语言模型本身。使用驾驶指令数据集以有监督的方式训练模型让它学会在看到特定视觉输入时生成对应的驾驶描述或动作。我踩过的一个坑灾难性遗忘。在专注驾驶任务微调后模型可能会丢失原有的强大常识推理能力。比如它可能不再认识“救护车”或理解“优先让行”的社会规则。应对方法是在微调数据中混合一部分原始的、通用的图像-文本对数据或者在损失函数中加入对原有知识保留的约束。4.3 系统集成与仿真测试从模型输出到车辆控制模型训练好了能输出看起来合理的指令了但这离真正控制车辆还差得远。集成到双系统你需要开发一个“接口模块”。如果模型输出文本指令就需要一个自然语言到驾驶指令的解析器。这个解析器可以是基于规则的识别关键词如“变道”、“减速”也可以训练一个小型模型。如果模型输出的是对成本地图的调制信号你需要修改规划器的代码使其能接收并应用这个动态成本层。仿真测试是生命线绝对不要一开始就上真车。使用CARLA、LGSVL等自动驾驶仿真平台。在仿真中你可以功能测试在简单场景直线跟车验证整个数据流是否通畅模型输出是否稳定。极端场景测试构建大量的长尾场景行人突然冲出、前车故障、恶劣天气观察VLA模块能否提供正确的策略指导。消融实验关闭VLA模块只用传统规划器再开启VLA模块对比两者在复杂场景下的通过率和舒适度指标。另一个实践中的教训延迟问题。VLM的推理速度可能达到几百毫秒甚至秒级这对于需要10Hz更新率的控制环来说是致命的。在仿真中必须严格测试从图像输入到最终控制指令输出的端到端延迟。如果延迟过大就必须优化模型如量化、剪枝、使用更小的模型或者设计异步调用机制——让VLM异步计算高层策略定期如每1秒更新一次而底层的快速规划器以更高频率10Hz运行并平滑地融合VLM的策略更新。5. 评估、挑战与未来VLA真的能带来自动驾驶的“ChatGPT时刻”吗任何新技术都需要一把尺子来衡量。对于VLA传统的自动驾驶指标如平均位移误差、碰撞率仍然重要但远远不够。我们需要一套新的评估体系。核心评估维度指令遵从度给定一个高级指令“在保证安全的前提下尽快到达目的地”车辆的行为是否符合该指令的意图这需要定义细粒度的评分规则。可解释性与合理性模型提供的决策理由如果是文本输出是否让人类觉得合理、可信可以通过人工评分或与人类驾驶员的理由进行对比来衡量。长尾场景通过率在那些规则系统容易失败的、稀少但关键的场景中VLA系统的表现如何这需要构建专门的长尾场景测试集。分布外泛化能力在训练数据中未出现过的全新城市、全新天气条件下性能下降是否在可接受范围内当前面临的主要挑战安全认证的鸿沟如何对一个大语言模型进行符合汽车功能安全标准如ISO 26262 ASIL-D的认证其概率化的输出特性与确定性安全要求之间存在根本矛盾。目前业界在探索“安全壳”方案即用确定性的安全监控模块来约束VLA的输出。实时性瓶颈如前所述大模型的推理速度是量产落地的巨大障碍。需要算法模型轻量化、蒸馏、硬件专用AI芯片和系统异步架构的协同创新。评测基准缺失目前缺乏公认的、全面的VLA for Driving评测基准。现有的数据集大多侧重于感知或简单的QA缺少对复杂推理、指令遵从和长序列决策的评估。未来的方向可能在哪里从我个人的观察来看短期内双系统架构将是主流VLA作为“副驾驶”或“策略大脑”为经过验证的传统控制栈提供智能增强。长期看随着模型效率提升和安全验证方法的突破高度集成的端到端VLA或许会成为终极形态。另一个有趣的方向是世界模型的引入——让VLA不仅基于当前观测还能在内部对物理世界进行模拟和预测从而做出更前瞻、更拟人的决策。VLA不是自动驾驶的终极答案但它确实为我们打开了一扇新的大门一扇通往更智能、更可沟通、更类人驾驶的大门。第一讲的内容就到这里它更像是一个宏伟蓝图的总览。后续的课程我们必然会深入到视觉编码器的具体实现、大模型微调的技巧、仿真与真车测试的细节中去。这个领域正在飞速发展今天的共识明天可能就被打破唯一不变的是对安全、可靠和智能的不懈追求。保持好奇动手实践才是跟上浪潮的最好方式。