1. 从“预测”到“决策”多智能体轨迹预测的挑战与机遇在自动驾驶、机器人集群协同、甚至虚拟角色行为模拟这些前沿领域有一个核心问题始终横亘在工程师和研究者面前如何让机器准确地预测未来我说的不是天气预报而是预测多个移动实体智能体在未来几秒内的运动轨迹。这听起来像是科幻电影里的情节但却是实现安全、高效、智能的自主系统必须跨过的技术门槛。想象一下一辆自动驾驶汽车在复杂的十字路口它不仅要规划自己的路径还必须同时预测周围行人、自行车、其他车辆的意图和可能走向。任何一个预测失误都可能导致灾难性的后果。这就是多智能体多模态轨迹预测Multi-Agent Multimodal Trajectory Prediction要解决的难题。“多智能体”意味着场景中不止一个会动的目标它们之间存在着复杂的交互比如避让、跟随、竞争。“多模态”则更为关键它承认未来不是唯一的。一个站在路边的行人下一秒可能继续等待也可能突然冲上马路一辆在路口减速的汽车可能左转、右转或直行。传统的单一轨迹预测模型在这里会“失灵”因为它们只能给出一个“最可能”的未来而忽略了其他同样合理但概率稍低的可能我们称之为“模态”。忽略这些模态就等于在赌博赌那个“最可能”的未来一定会发生。显然在安全至上的领域我们不能这么赌。因此近年来能够同时生成多条合理未来轨迹即多个模态的模型成为了研究热点。然而这又带来了新的挑战如何从模型生成的一大堆可能的轨迹中筛选出那些既合理符合物理和社交规则又准确最接近真实未来的少数几条很多模型要么生成的质量参差不齐要么筛选的机制过于简单粗暴。今天要聊的“RankFormer”就是在这样的背景下提出了一种新颖的“先提议后选择”Propose-then-Select的Transformer架构试图更优雅地解决这个“生成”与“筛选”的平衡问题。它不再把生成和筛选混为一谈而是明确分成了两个阶段让专业的模块做专业的事。2. 解构RankFormer为何“先提议后选择”是更优解在深入RankFormer的细节之前我们得先理解现有主流方法普遍面临的困境。很多基于深度学习的轨迹预测模型尤其是基于生成式模型如CVAE, GAN或直接回归的方法它们的学习目标是“逼近”真实轨迹的分布。在这个过程中模型内部隐式地同时完成了两件事一是“构想”出多种可能的未来提议二是为这些构想“打分”或“排序”选择。问题就在于这种隐式的、耦合的机制往往导致“提议”的质量不高或者“选择”的准则不清晰。举个例子这就像一个编剧团队在构思故事结局。如果让同一个小组既负责天马行空地构思各种结局悲剧、喜剧、悬疑又立刻负责从中选出“最佳”结局那么很可能为了选出那个“最佳”他们在构思阶段就会不自觉地偏向于某一种类型抑制了其他有创意但“非主流”的可能性。结果就是最终提供的几个结局选项多样性不足或者虽然多样但质量良莠不齐。RankFormer的核心思想就是把“编剧”和“评审”的角色分开。它设计了一个清晰的两阶段流水线提议阶段Proposal Stage这个阶段的目标是“广撒网”。一个专门的模块Proposal Generator负责尽可能多地生成多样化的、合理的轨迹假设。此时不需要过分关心哪个假设最好重点是覆盖各种可能性保证召回率。这个阶段鼓励多样性。选择阶段Selection Stage这个阶段的目标是“精挑选”。另一个专门的模块Selection Transformer也就是RankFormer的核心负责对第一阶段生成的所有轨迹提议进行评估、比较和排序。它像一个严格的评审根据与历史轨迹的匹配度、是否符合场景约束如地图、是否与其他智能体轨迹协调等综合指标给所有提议打分并选出Top-K个最可靠的轨迹作为最终输出。这个阶段强调精确性。这种“先提议后选择”的范式有几点显著优势解耦优化目标提议模块可以专注于学习如何生成物理上合理、交互上多样的轨迹而不必被“哪个更好”的问题干扰。选择模块则可以专注于学习一个强大的排序函数比较轨迹之间的细微优劣。提升最终性能由于选择模块是在一个已经经过初步筛选提议阶段的候选池上工作它可以更精细地建模轨迹之间的相对关系。实验表明这种显式的比较学习往往比隐式打分能学到更鲁棒的排序准则。可解释性增强我们可以直观地看到第一阶段生成了哪些“天马行空”的提议以及第二阶段是基于什么理由淘汰或保留了它们。这比一个黑箱模型直接输出结果更能让我们理解模型的“思考”过程对于调试和信任至关重要。那么RankFormer具体是如何实现这两个阶段的呢关键在于它如何利用Transformer这一强大的序列建模工具。3. 核心架构深潜提议生成器与排序Transformer的协同RankFormer的整体架构可以看作一个精心设计的工厂流水线。输入是过去一段时间内所有智能体的轨迹历史、高清地图信息车道线、交通标志等以及智能体之间的交互关系。输出是每个智能体未来一段时间内最可能的K条轨迹以及每条轨迹对应的概率或置信度。3.1 第一阶段多样化提议生成提议生成器Proposal Generator是流水线的第一站。它的任务不是追求完美而是追求全面。通常这部分会采用一个比较成熟的轨迹预测模型作为基础比如基于编码器-解码器结构的模型或者一个轻量化的生成模型。输入编码首先模型会用一个共享的编码网络通常是多层感知机MLP或图神经网络GNN来编码每个智能体的历史轨迹。同时场景信息如高清地图的矢量元素也会被编码成特征。这些特征会被融合形成每个智能体丰富的上下文表示。多样化解码接下来为了生成多个提议模型会引入一些随机性。常见的手法有两种条件变分自编码器CVAE思路从标准正态分布中采样一个随机噪声向量z将其与智能体的上下文表示拼接一起输入解码器通常是循环神经网络RNN或Transformer Decoder。通过改变z解码器就能输出不同的轨迹。我们可以采样N个不同的z从而为每个智能体生成N条轨迹提议。目标点采样思路模型先预测一个可能的目标点分布即未来轨迹的终点区域然后从该分布中采样多个目标点。对于每一个采样到的目标点再用一个轨迹规划器如多项式拟合生成一条从当前位置到该目标点的平滑轨迹。这种方法更直观且易于结合地图拓扑。注意在这个阶段模型可能会为每个智能体生成数十甚至上百条轨迹提议。这些提议在几何形态上可能是合理的但在与场景、与其他智能体的交互协调性上可能还存在冲突。这就好比 brainstorm 环节产生了大量点子其中不乏好点子但也混杂着许多不切实际或相互矛盾的想法。3.2 第二阶段排序Transformer的精挑细选这是RankFormer最具创新性的部分。第一阶段的提议被送入一个专门的排序TransformerRanking Transformer。它的设计灵感来源于信息检索和推荐系统中的排序学习Learning to Rank。候选轨迹的表示对于每一个智能体我们将其N条提议轨迹中的每一条都转换成一个固定长度的特征向量。这个向量不仅包含轨迹本身的几何信息一系列坐标点更重要的是它融合了这条轨迹与历史的匹配度、与场景的符合度、与其他智能体所有提议轨迹的协调度。例如历史匹配特征通过一个子网络计算该提议轨迹与智能体历史运动模式速度、加速度的连续性。场景符合特征计算轨迹是否偏离车道、是否碰撞到静态障碍物基于地图编码。社交协调特征这是最复杂的部分。需要计算这条轨迹与所有其他智能体的每一条提议轨迹之间的交互成本。例如计算在某个时间点两条轨迹的预测位置是否小于安全距离。这会产生一个巨大的交互矩阵。排序Transformer的工作流程序列化输入对于当前要排序的智能体i我们将它的N条提议轨迹的特征向量加上一个特殊的[CLS]标记组成一个长度为N1的序列。自注意力与交叉注意力排序Transformer的核心是多头注意力机制。在这里它同时进行两种注意力计算自注意力Intra-agent Attention让智能体i的N条提议轨迹之间相互“比较”。一条轨迹可以关注其他轨迹从而在特征空间中学习到“与其他提议相比我哪里好哪里差”。这有助于模型学习轨迹之间的相对优劣。交叉注意力Inter-agent Attention这里的“键”和“值”来自所有其他智能体的提议轨迹的特征集合。这意味着当模型在评估智能体i的一条提议时它会同时“看到”所有其他智能体可能怎么走。这使得排序过程能够显式地、细粒度地考虑多智能体之间的联合交互。一条自身很平滑的轨迹如果与另一个智能体的一条高概率轨迹严重冲突那么它的排名就应该被降低。排序得分计算经过多层Transformer块的处理后[CLS]标记的最终输出向量被认为聚合了所有提议轨迹的对比和交互信息。我们通过一个简单的多层感知机MLP将[CLS]标记的向量映射为N个分数分别对应N条提议轨迹的“排名得分”。选择与输出根据这N个得分我们对提议进行排序选择得分最高的K条例如K5或6作为该智能体的最终多模态预测输出。同时我们可以用softmax函数将这些得分转化为概率分布表示每条被选中的轨迹的置信度。这种设计的巧妙之处在于它将多智能体、多模态预测中最复杂的“联合推理”问题放到了一个专精于“比较”的模块排序Transformer中来解决。提议生成器负责提供丰富的可能性排序Transformer则像一个拥有全局视野和精细判断力的评审团在综合考量所有个体和所有可能性之后做出最终裁决。4. 训练策略与损失函数如何教会模型“排序”一个模型设计得再精巧也需要通过正确的训练方法才能发挥威力。RankFormer的训练是分阶段的但也可以是端到端的这取决于具体实现。提议生成器的训练这一部分通常使用标准的轨迹预测损失例如回归损失如 Smooth L1 Loss最小化生成的提议轨迹与真实未来轨迹之间的点对点距离。由于提议有多条这里通常采用“赢家通吃”或“软分配”的策略。例如对于每条真实轨迹从N条提议中挑选出与其最接近的一条赢家只计算这条赢家提议的回归损失。这鼓励提议生成器至少能产生一条接近真实的轨迹。多样性损失为了避免所有提议都坍缩到同一个模式可以加入鼓励多样性的损失例如最大化不同提议之间的平均距离。排序Transformer的训练这是训练的关键目标是让模型学会给“好”的提议打高分“差”的提议打低分。这里就需要构建排序学习的监督信号。一个有效的方法是使用基于列表的排序损失Listwise Ranking Loss比如ListNet Loss或ListMLE Loss。这些损失函数不是看绝对分数而是看模型预测的排序顺序与真实排序顺序的差异。那么“真实的排序”从哪里来我们可以根据每条提议轨迹与真实未来轨迹的相似度来定义。通常用最终位移误差FDE或平均位移误差ADE作为度量。对于每个智能体计算其N条提议的ADE值然后按照ADE从小到大排序误差越小排名越高。这样就得到了一个“真实”的排序列表。ListMLE Loss的做法是它定义在给定真实排名第一的样本即ADE最小的提议的条件下模型预测整个序列的概率。通过最大化这个概率来训练模型。其负对数似然损失函数形式为L_rank -log P(π | scores)其中π是真实的排序顺序scores是模型对所有提议的打分。这个损失会驱动模型给排名靠前的提议分配显著更高的分数。在实际训练中排序Transformer的损失L_rank会和提议生成器的损失L_proposal如回归损失进行加权求和构成总损失L_total λ * L_proposal (1-λ) * L_rank。通过端到端的训练提议生成器会逐渐学会生成那些不仅本身合理而且更容易被排序Transformer识别为“好”的轨迹两个模块形成了良性互动。实操心得在实现RankFormer训练时有一个细节至关重要——提议的质量。如果第一阶段生成的提议全都离真实轨迹很远那么排序Transformer就像是在一堆烂苹果里挑一个不太烂的它学到的排序能力上限很低。因此在训练初期需要确保提议生成器已经得到了一定程度的预训练或拥有较强的基线能力。一种策略是先用较大的权重λ训练提议生成器待其稳定后再逐步增加排序损失的权重对两个模块进行联合微调。5. 实战中的挑战与调优从论文到落地的距离将RankFormer这样的模型从论文描述转化为实际可运行、有效果的代码会遇到一系列教科书上不会写的挑战。以下是我在复现和实验过程中积累的一些关键经验。挑战一计算复杂度与工程优化排序Transformer的交叉注意力机制是其性能强大的来源也是计算负担的主要部分。假设场景中有M个智能体每个智能体有N条提议那么为了评估一个智能体的一条提议交叉注意力需要计算该提议与(M-1)*N个其他提议的关系。当M和N较大时例如M10 N50计算量和内存消耗会急剧增长。应对策略提议数量N的权衡N不是越大越好。需要通过实验找到性能与效率的平衡点。通常N在20-100之间选择。可以使用一些启发式方法在提议生成阶段进行初步过滤减少送入排序阶段的提议数量。高效的注意力实现利用诸如FlashAttention等优化后的注意力计算库可以大幅降低内存占用并提升速度。分阶段或分层排序对于智能体数量很多的场景可以先根据空间距离或其他粗粒度指标对智能体进行分组只在组内进行精细的交叉注意力排序组间则采用更简单的交互模型。挑战二真实数据中的噪声与标注不确定性真实世界的数据如nuScenes, Argoverse数据集存在标注噪声。一条轨迹的“真实未来”可能只是众多合理未来中的一种。这给排序学习带来了困扰一条与标注轨迹ADE稍大但非常合理的提议比如行人稍微绕了点路是否就应该被排得很靠后应对策略软化排序标签不要使用严格的、基于单一ADE的硬排序。可以采用基于高斯核加权的软标签给ADE相近的提议赋予相似的排名分数。或者引入多条“专家标注”轨迹如果可用来构建更稳健的排序目标。损失函数的鲁棒性尝试一些对噪声更不敏感的排序损失或者结合回归损失与排序损失让模型在拟合绝对位置和相对顺序之间取得平衡。挑战三场景上下文编码的融合RankFormer的性能极大依赖于输入的轨迹和场景特征表示。如何将高清地图的复杂拓扑结构车道线、交叉口、交通灯有效地编码并融合到每个智能体的上下文表示中是一个独立且重要的课题。应对策略矢量网络编码目前主流的方法是使用VectorNet或LaneGCN等架构将地图元素和轨迹历史都表示为矢量集合通过图神经网络进行交互编码。确保这部分编码器的能力足够强是提升RankFormer整体性能的基础。多尺度融合在排序Transformer中除了轨迹-轨迹的交叉注意力也可以尝试引入轨迹-地图元素的交叉注意力让排序过程更直接地感知场景约束。调优经验学习率与热身排序Transformer部分的学习率通常需要设置得比提议生成器更小因为它是在已经生成的提议上做精细调整。使用学习率预热Warmup策略对稳定训练很有帮助。批次构建由于每个场景的智能体数量M不同需要仔细设计数据加载和批次构建逻辑通常需要使用填充Padding和注意力掩码Mask来处理变长序列。评估指标的选择不要只看最终的minADE和minFDE即选择K条轨迹中最好的那条与真值比较。也要关注miss rate所有K条轨迹都与真值偏差过大的比例和brier score等能反映多模态质量和概率校准度的指标。RankFormer的优势往往体现在这些综合指标上。从理论到实践RankFormer为我们提供了一种清晰、强大的多智能体多模态轨迹预测框架。它的“先提议后选择”哲学将复杂的联合预测问题分解为更易管理和优化的子问题。虽然它在计算和工程实现上要求更高但其在精度、可解释性以及处理复杂交互方面的潜力使其成为迈向更可靠、更智能的自主系统道路上一个值得深入研究和尝试的重要方向。在实际项目中我们可以根据具体的计算资源约束和应用场景对其架构进行适当的简化和优化例如设计更轻量化的提议生成器或者采用近似注意力机制来加速排序过程从而在性能和效率之间找到最佳契合点。