1. 项目背景当智能体“看不见”彼此协作如何发生想象一下你正指挥一支特种作战小队执行夜间渗透任务。每个队员都配备了夜视仪但视野有限只能看到前方几十米的情况并且由于无线电静默他们无法实时通话。他们需要协同行动比如A队员负责破门B队员负责警戒侧翼C队员负责清除内部威胁。他们无法看到彼此的全部动作也无法即时沟通但目标是一致的——成功完成任务。这就是“部分可观测信息下的多智能体协同”问题在现实世界中的一个缩影。在人工智能领域尤其是在多智能体强化学习Multi-Agent Reinforcement Learning, MARL的研究前沿这个问题被称为“部分可观测性”Partial Observability。每个智能体Agent只能感知到环境的一部分信息就像戴着“眼罩”在行动。而“CRAFT”这个框架正是为了解决这个核心难题而生。它不是一个具体的游戏或工具而是一种研究思路或算法框架旨在让一群“近视”的智能体在无法获得全局视野的情况下依然能够高效、稳定地协同工作完成复杂的共同目标。为什么这个问题如此重要因为完全的信息共享在现实中往往是奢侈的。在自动驾驶车队中每辆车受限于传感器范围和通信延迟无法瞬间知晓所有邻居车辆的精确意图在分布式机器人集群中每个机器人只有局部传感器数据甚至在大型语言模型LLM的协同服务中如热词中提到的“chimera”不同的模型实例处理不同请求时也面临着对整体系统负载的“部分可观测”问题。CRAFT试图为这些场景提供一个 grounded基于现实的、有理论根基的解决方案。2. CRAFT框架的核心思想拆解从“猜”到“建”CRAFT这个名字本身就蕴含了其核心思想。我们可以将其拆解为几个关键部分来理解CCoordination协同这是目标。多智能体不是单打独斗它们的行动需要相互配合产生“112”的效果。协同可能意味着分工、避让、接力或者形成特定阵型。RGrounded基于现实的/接地的这是方法论的前提。它强调解决方案不能是空中楼阁必须建立在可观测的局部信息之上并且其学习过程或推理机制是稳定、可解释的与物理环境或问题本身的约束ground truth紧密相连。这区别于一些完全基于黑盒神经网络、难以分析其决策逻辑的方法。A FMulti-Agent多智能体这是主体。我们面对的不是一个智能体而是一个群体。群体行为会带来指数级增长的复杂性比如非平稳性其他智能体也在学习改变策略、信用分配成功或失败归功于谁等问题。TUnder Partial Information在部分信息下这是核心约束也是最大的挑战。每个智能体只能看到世界的一个“碎片”。它不知道队友看到了什么也不知道队友正在想什么。这直接导致了经典的“解耦的庞特里亚金最小值原理”或“部分可观测马尔可夫决策过程POMDP”的复杂性。那么CRAFT是如何破局的其核心思路可以概括为“构建并利用对缺失信息的结构化推测”。它不是让智能体去“猜”队友的具体动作那太随机且低效而是让智能体学会构建一个关于团队状态、意图或未来计划的“共识性抽象”。这个抽象就是“Craft”意为精巧建造之物的过程。具体来说智能体可能会学习预测性模型根据自己局部观察的历史预测其他智能体可能观察到了什么或者预测环境隐藏部分的动态。通信协议在允许有限通信的情况下学习传递最有价值、最有助于构建共识的微量信息而不是原始数据洪流。这类似于特种队员之间约定好的几个简单手势。意图识别与共享将自己的高级目标意图编码成一种其他智能体也能理解的隐式或显式信号。例如在足球游戏中带球队员的一个跑动方向可能就隐含了“我要下底传中”的意图队友看到后会自动跑向禁区抢点。基于共识的决策所有智能体的决策都基于一个它们共同维护即使不完整的“心理模型”。这个模型通过对局部观察和有限交互的不断更新趋近于一个对团队有用的共同信念。这个过程就像一群盲人一起摸一头大象。每个人只摸到一部分鼻子、腿、肚子但通过一种有效的“沟通机制”比如CRAFT框架他们能够协同地、一步步地在各自脑海中构建出一头相对完整的大象形象并基于这个共同构建的形象来协商如何安全地把大象引到目的地。3. 技术实现路径算法、学习与策略理解了思想我们来看看可能的实现路径。CRAFT作为一个研究框架其具体实现可能融合了多种MARL和POMDP的技术。以下是一些关键的技术组件和设计考量3.1 核心算法架构选择在部分可观测多智能体场景下主流算法架构有几条路径CRAFT可能会借鉴或融合它们中心化训练与分布式执行CTDE这是目前MARL最成功的范式之一。在训练时我们可以利用一个“上帝视角”的全局信息来指导智能体学习例如使用集中式的批评家Critic网络来评估联合行动的价值。但在执行时每个智能体只依赖自己的局部观察和可能的有限通信做出决策。CRAFT的“Grounded”特性要求即使在训练时利用全局信息所学到的策略也必须能够很好地泛化到只有局部信息的执行阶段。这通常通过设计具有良好归纳偏置的网络结构来实现。基于注意力的多智能体通信Actor-Attention-Critic正如网络热词中提到的“actor-attention-critic for multi-agent reinforcement learning”注意力机制非常适合处理部分可观测下的信息筛选。每个智能体可以将其局部观察编码为一个“查询Query”并接收来自其他智能体或环境的“键值对Key-Value”。通过注意力权重它能够动态地决定关注哪些其他智能体的信息从而在脑海中构建一个更丰富的上下文。CRAFT框架可以深度集成这种注意力通信机制让智能体学会“主动关注”对协同最关键的信息。基于模型的强化学习MBRL为了应对部分可观测性智能体可以学习一个环境动态模型或对手模型。这个模型用于预测在给定联合行动下环境状态包括不可见部分将如何演变。CRAFT可以要求智能体学习一个“grounded”的模型即该模型的预测必须与智能体实际能观测到的局部信息保持一致并且用于提升长期协同规划的能力。3.2 策略表示与信用分配策略网络设计每个智能体的策略网络输入是其局部观察的历史通常用循环神经网络RNN或Transformer处理输出是动作。在CRAFT中策略网络还可能输出一个“意图编码”或“共享隐状态”这个编码会被其他智能体用作它们策略网络的额外输入从而形成隐式的协同。信用分配难题当团队获得一个奖励或惩罚时如何公平地分配给每个智能体在部分可观测下这个问题更难因为你无法确定某个智能体的“错误”行动是因为它信息不足还是策略不好。CRAFT可能需要结合反事实推理Counterfactual Reasoning或差异奖励Difference Rewards等方法设计一个更精细、更“grounded”的信用分配机制确保学习信号能准确反映每个智能体在信息受限条件下的真实贡献。3.3 学习目标与稳定性学习目标不仅仅是最大化团队累计奖励。CRAFT可能会引入额外的辅助学习目标例如预测一致性鼓励智能体对自己无法直接观测的变量如队友的观察或意图做出准确预测。通信效率如果包含通信则鼓励用最少的信息比特达成有效的协同。鲁棒性对观察噪声、智能体失效或对手干扰具有鲁棒性。非平稳性与收敛多智能体同时学习会导致环境对于任何一个智能体来说都是非平稳的其他智能体在改变这极易导致训练不稳定。CRAFT作为 grounded 框架必须提供理论或经验上的稳定性保证。常见做法包括采用策略梯度方法的变体如MADDPG、值分解方法如VDN, QMIX的扩展或者在训练中引入对手建模来平滑环境变化。4. 从仿真到现实应用场景与挑战CRAFT这类框架的研究最终目的是为了落地应用。它的应用场景极其广泛几乎涵盖所有需要分布式决策且信息不完备的领域1. 多机器人协同仓库物流机器人每个机器人只知道自己周围货架和障碍物的位置需要协同规划路径避免拥堵和死锁高效完成订单拣选。无人机编队每架无人机GPS和传感器有限需在部分通信中断的情况下保持队形进行区域搜索或灯光表演。灾难救援机器人进入危险建筑后通信不畅每个机器人依靠自身传感器探索局部区域需要协同绘制全局地图并定位幸存者。2. 智能交通与网联汽车交叉路口协同通行每辆车只知道自身和前车的状态通过与路侧单元RSU进行有限通信协同调度通过顺序无需红绿灯。车队编队行驶后车无法直接看到头车前方的路况仅通过车间通信获取有限的领航车意图和加速度信息实现安全、节能的紧密跟驰。3. 分布式资源管理云计算/边缘计算任务调度每个计算节点只知道自身负载和相邻节点信息需要协同分配计算任务实现全局负载均衡。这与热词中“chimera”要解决的LLM服务异构性问题有相通之处。智能电网分布式能源调度每个微电网如一个小区的光伏储能系统只知道本地发电和用电需求需要与相邻微电网协同平抑波动实现区域能源最优。4. 游戏AI与仿真《星际争霸》、《DOTA 2》等即时战略游戏每个作战单位视野有限需要实现高级战术协同如包抄、埋伏、集火。足球机器人仿真球员只能看到球场的一部分需要实现传切配合、跑位等复杂战术。然而从理论框架到现实应用CRAFT面临巨大挑战可扩展性智能体数量增加时联合状态空间和动作空间呈指数增长。如何设计具有良好可扩展性的架构通信约束现实通信有带宽、延迟、丢包甚至被干扰的限制。CRAFT必须在此极端条件下依然有效。异构性智能体可能型号不同、能力各异如热词中的“heterogeneous LLMs”。框架需要处理这种异构性。安全与鲁棒性在自动驾驶等安全关键领域任何决策失误都可能造成严重后果。框架必须提供可验证的安全边界或极高的鲁棒性。模拟到现实的鸿沟在仿真中训练的策略如何适应真实世界复杂的传感器噪声和动态特性5. 实战中的设计考量与“踩坑”经验假设我们现在要为一个简单的“多智能体围捕”任务设计一个CRAFT风格的解决方案。任务描述多个追捕者智能体在一个网格世界中需要协同围捕一个随机移动的逃跑者。每个追捕者只能看到以其自身为中心、有限半径范围内的格子。5.1 观察空间设计信息压缩是关键第一个坑就是观察空间的设计。最直接的想法是把视野内的所有格子信息是否有障碍、是否有队友、是否有目标直接拼接成一个向量输入网络。但这会导致输入维度随视野半径平方增长且非常稀疏。实操心得必须进行高度抽象和编码。例如我们可以将局部观察编码成几个关键特征自身位置、视野内最近队友的相对方向和距离、视野内目标逃跑者的相对方向和距离、以及周围障碍物的一个紧凑表示如用8个方向上的最近障碍距离。这大大降低了输入维度并迫使网络关注最相关的信息。这就是“Grounded”的一种体现——设计符合问题本质的表示。5.2 通信内容设计少即是多我们允许智能体每步广播一个很短的消息比如一个4维向量。应该广播什么广播原始观察广播想要执行的动作踩坑记录初期我们让智能体广播自己的局部目标坐标结果发现信息冗余且低效经常因为目标冲突导致围捕失败。后来我们改为让智能体广播一个“意图编码”这个编码是其策略网络中间层的激活值。这个编码没有明确的物理意义但通过中心化训练的Critic网络的监督智能体们学会了让这个编码承载“我打算去哪个区域堵截”或“我正在执行包围圈的哪一部分”这样的隐式信息。通信量极小但协同效果显著提升。这验证了“学习通信协议”比“设计通信协议”更有效。5.3 奖励函数设计引导协同而非个人英雄主义奖励函数是指挥棒。如果只给最终抓住逃跑者的智能体高奖励会导致“抢人头”现象其他智能体缺乏早期协同的动力。设计技巧我们采用分阶段、差异化的奖励。团队奖励只要抓住逃跑者所有追捕者获得高额正奖励。这鼓励团队成功。个体塑形奖励给予每个追捕者负奖励与其到逃跑者的距离成正比鼓励靠近同时给予一个正奖励与其到最近队友的距离成反比鼓励保持分散但可支援的队形避免扎堆。这个“距离队友的奖励”需要精心调整权重太强会导致智能体粘在一起太弱则没有协同。预测一致性奖励辅助任务我们增加一个辅助网络让每个智能体根据自身观察和收到的消息预测逃跑者的全局位置这是一个它无法直接观测的ground truth。预测越准获得额外的小奖励。这个辅助任务极大地加速了智能体对隐藏状态的学习提升了协同效率。5.4 训练不稳定与探索策略多智能体训练初期极易陷入局部最优比如所有智能体都采取同一个简单策略如一起朝目标直线移动无法学会复杂的包围战术。调参经验我们采用了两种策略结合。课程学习先从简单的场景开始训练比如逃跑者移动缓慢或者追捕者视野更大。待策略稳定后再逐步增加难度加快逃跑者速度、缩小视野。增强探索除了标准的策略熵正则化我们还为每个智能体引入了“间歇性激进探索”。以一个小概率智能体会完全随机行动几步。这有助于打破团队陷入的僵局发现新的协同模式。同时为了保持“Grounded”这种随机探索也仅限于其可执行的动作空间内。通过这样一个简单的项目我们深刻体会到实现一个有效的、部分可观测下的多智能体协同系统远非套用一个现成算法那么简单。它需要研究者或工程师对问题本身有深刻理解Grounded并在观察表示、通信机制、奖励设计、训练技巧等多个层面进行精心“雕琢”Craft。每一次调整都像是在调整一群盲人之间的“默契规则”直到他们能流畅地协同完成那项看似不可能的任务。而这正是CRAFT框架所追求的精髓所在。