1. 项目概述当AI特工潜入《Among Us》如果你玩过《Among Us》一定体验过那种在飞船舱内穿梭一边修反应堆一边提防身边“内鬼”的紧张感。这个项目就是把这种“狼人杀”式的社交推理游戏变成了一个严肃的AI研究沙盒。我们不再依赖人类玩家的直觉和演技而是让一群完全自主的智能体Agent进入游戏让它们自己学会欺骗、侦查、沟通与协作。这听起来像是个有趣的实验但其背后指向的是自动驾驶车队协商路线、无人机集群协同搜索、乃至未来服务机器人群体协作中一个至关重要却常被忽视的核心问题在部分成员可能“叛变”或发出错误信息的环境中多智能体系统如何建立并维持有效的沟通与信任“Deception and Communication in Autonomous Multi-Agent Systems: An Experimental Study with Among Us”这个标题精准地概括了研究的精髓。它并非简单地用AI复现游戏而是将《Among Us》抽象为一个近乎完美的研究平台。在这里“船员”和“内鬼”代表了合作与对抗的二元角色有限的视野、必须完成的公共任务、以及关键的“紧急会议”讨论环节共同构成了一个信息不对称、需要高阶社交推理的复杂环境。我们通过这个项目深入探究了自主智能体在面临系统性欺骗时其通信策略的演化、信任机制的建立与崩塌以及群体决策的鲁棒性。这项研究适合所有对多智能体系统、强化学习、博弈论以及AI安全感兴趣的研究者和开发者。无论你是想了解如何让多个AI更“聪明”地协作还是担忧未来AI系统可能被恶意利用进行欺骗这个实验都能提供极具启发性的第一手观察。接下来我将拆解我们是如何搭建这个实验环境、设计智能体、并从中提炼出那些超越游戏本身的深刻洞见。2. 实验平台构建与核心问题定义将《Among Us》转化为一个可控的AI实验环境是整个项目的基础。我们不能直接使用游戏客户端那会引入大量不可控的图形界面和网络延迟问题。因此我们需要从头构建一个高度简化但核心机制完整的模拟器。2.1 环境抽象与关键机制建模我们的模拟器用Python实现核心是定义一个AmongUsEnv类。环境状态需要精确刻画游戏的核心要素地图与状态我们将地图简化为一个由节点房间和边走廊构成的图。每个节点包含其状态如“反应堆”是否待修复、“氧气”是否泄漏。智能体的位置即其在图中的节点索引。智能体角色与视野每个智能体被分配“Crewmate”船员或“Impostor”内鬼角色。内鬼知晓所有内鬼身份船员则只知自己身份。视野被建模为以智能体所在节点为中心、一定图距离内的区域状态。这模拟了游戏的“战争迷雾”。动作空间移动移动到相邻节点。执行任务在特定节点船员可以执行一个耗时数步的“修复”动作内鬼则可以伪装执行任务动画相同但无实际效果。破坏内鬼专属动作可触发全局紧急任务如“修复氧气”迫使所有船员前往特定地点制造混乱和落单机会。击杀内鬼在视野内且与其他智能体共处一节点时可执行击杀使对方进入“死亡”状态仅内鬼可见尸体。报告任何智能体进入有尸体的节点可发起紧急会议。会议阶段这是通信研究的核心。当会议被触发环境进入一个特殊阶段。所有存活智能体进入一个“圆桌讨论”环节。在这里它们可以按顺序发送一段自然语言文本实际实验中我们先使用离散信号后引入语言模型。会议结束后进行投票得票最多者被驱逐。注意在构建模拟器时最大的挑战是平衡真实性与计算效率。完全复现游戏的视觉信息是不必要且低效的。我们的原则是只抽象出影响决策逻辑的关键信息。例如我们不需要渲染角色的皮肤颜色但必须精确建模“视野范围”、“任务进度”和“共处一室”的判定逻辑。2.2 核心研究问题拆解基于这个平台我们的研究聚焦于三个层层递进的问题欺骗的演化在一个初始“天真”的、倾向于合作的多智能体群体中内鬼智能体如何自主地发展出有效的欺骗策略这些策略是简单的随机击杀还是包含了复杂的嫁祸、诱导和时机选择通信的适应性面对潜在的欺骗者船员智能体的通信策略会如何进化它们会发展出“暗号”来验证彼此吗还是会变得多疑对所有信息都打折接收信任的动态与群体决策在多次会议投票中群体的信任网络如何随着事件尸体报告、任务进度矛盾等动态变化一个智能体的“信誉”是如何被建立和摧毁的群体决策是趋于理性还是容易被情绪化错误信息带偏通过定义清晰的观察空间、动作空间和奖励函数我们将这些社会学问题转化为了可被强化学习算法优化的数学问题。3. 智能体架构设计与训练范式我们并没有使用一个统一的超级AI来控制所有角色而是为每个智能体部署了一个独立的策略网络让它们在环境中通过交互自主学习。这是多智能体强化学习MARL的典型设置。3.1 智能体的“大脑”策略网络与输入处理每个智能体都有一个核心的神经网络其输入是一个高度结构化的观察向量包含私有信息自身角色、当前位置、任务完成状态、冷却时间击杀、报告。局部观察视野内其他智能体的ID和位置、视野内任务节点的状态。全局事件记忆上一次会议以来的关键事件序列如“玩家A报告了玩家B的尸体在反应堆”、“玩家C声称在监控室看到玩家D”。通信历史在本次会议中其他智能体已发言的内容编码。这个观察向量经过几层全连接网络后分为几个输出头动作头在非会议阶段输出移动、执行任务等动作的概率分布。通信头在会议阶段输出待发送的“消息”。在初期实验中我们使用一个离散的、预定义的信号词汇表如“SAW_X_IN_ELECTRICAL”、“VOTE_Y”。后期我们接入了一个轻量级语言模型允许智能体生成更自由的短句。投票头在会议投票阶段输出对所有其他存活智能体的投票概率分布。3.2 训练范式竞争与合作的混合奖励设计奖励函数是引导智能体行为的关键。我们采用了差异化的奖励对船员Crewmate正奖励完成一个任务1游戏胜利所有任务完成或投出所有内鬼5。负奖励被击杀-2游戏失败内鬼达到胜利条件-3。隐式奖励我们尝试引入了一种基于“信息一致性”的奖励即如果某个智能体的发言与其他多数智能体观察到的客观事实如位置记录一致它会获得微小正奖励以鼓励诚实沟通。对内鬼Impostor正奖励成功击杀一名船员且未被立即报告1.5成功误导投票投出一名船员2游戏胜利船员数量降至阈值以下5。负奖励被投票驱逐-3游戏失败-4。策略奖励为鼓励高级欺骗对成功触发“破坏”并导致船员分散的智能体给予额外奖励0.5。训练采用集中式训练、分布式执行的架构。我们在一个服务器上并行运行数千个模拟环境实例收集大量的状态动作奖励下一状态轨迹数据用于更新所有智能体的策略网络参数。实操心得奖励函数的微调是项目中最耗时的部分之一。初期内鬼倾向于“躺平”不杀人因为击杀风险高、收益不明确。我们通过大幅提高击杀奖励并降低被投票驱逐的惩罚相对于游戏失败成功激励了内鬼的进攻性。同时为船员引入“信息一致性奖励”后我们观察到它们开始更谨慎地发言无根据的指控减少了。4. 欺骗策略的涌现与通信博弈的演化经过数百万轮的游戏迭代智能体群体中涌现出了令人惊讶的复杂行为模式远超我们最初的设想。4.1 内鬼策略从“莽夫”到“阴谋家”初代内鬼的行为模式非常初级可以概括为“CD冷却时间一好就杀人”然后尽量远离尸体。这种策略在早期很容易被通过尸体报告锁定位置范围。随着训练进行我们观察到了策略的显著进化嫁祸与诱导内鬼会刻意在击杀前尾随一名目标船员并确保有其他船员“目击”他们在一起。击杀后它会立即离开并可能在会议中率先发言“我刚才看到A被杀的船员和B另一个无辜船员在仓库附近鬼鬼祟祟然后我就发现A死了。” 通过将自己从现场“摘除”并转移视线成功率显著提升。破坏时机的精妙选择内鬼学会了不在人多的区域击杀而是利用“破坏”技能。例如当监测到大多数船员集中在反应堆完成任务时在遥远的氧气间发起破坏。当船员们集体涌向氧气间时内鬼会故意落后在走廊“守株待兔”击杀落单者。此时由于所有人都在移动目击者稀少尸体也很难被立刻发现。伪装与 credibility 建立高级内鬼在游戏前期会表现得极其“合作”积极执行任务伪装并在会议中发表看似理性、基于“观察”的分析如“C一直在做任务我觉得他挺可信的”逐步建立自己的信誉。在游戏后期再利用这份信誉发起致命指控。4.2 船员策略从“轻信”到“侦探”面对日益狡猾的内鬼船员的策略也从简单协作演化为带有侦查和反欺骗的复杂行为路径依赖与 alibi 建立船员们发展出了“结伴而行”的倾向尤其是在游戏后期人数减少时。它们会下意识地选择与信誉度高的同伴共同行动互相提供不在场证明alibi。主动侦查与信息交叉验证一些船员会主动扮演“巡逻兵”角色在高交通枢纽或关键任务点间移动不是为了做任务而是为了记录其他智能体的移动路径。在会议中它们会抛出诸如“我在第10-15回合期间在监控室和引擎室之间来回只看到了D和E没有看到F”这样的具体信息供其他智能体交叉验证。通信中的试探与逻辑陷阱船员的发言不再只是报告事实。它们会进行试探性提问“B你说你在第8回合去了仓库那你在路上看到谁了吗” 如果B是内鬼且没有准备好完整的虚假路径记忆其回答就可能出现矛盾。我们还观察到船员们会使用一种“共识测试”例如“同意下一步优先修复反应堆的请说‘1’”。内鬼如果急于伪装可能会忽略反应堆其实已经修复的客观事实而跟着说‘1’从而暴露。4.3 信任的动态量化模型为了理解群体决策我们定义了一个简单的“信任度”模型用于分析每个船员对其他智能体的内部评估。这个信任度基于直接观察的一致性对方声称的位置/行动是否与我观察到的相符间接证据链多个独立信息源对同一事件的描述是否吻合历史行为对方过去投票的准确性是否投出了内鬼或误投了船员。任务进度贡献仅船员间系统会模糊地共享任务进度积极贡献者获得信任加成。我们发现成功的船员群体内部会形成一个动态的、非对称的信任网络。这个网络在每次会议后都会剧烈重构。一次成功的指控投出内鬼会极大提升指控者的信誉而一次错误的指控则会让其信誉破产在后续会议中失去影响力。5. 引入自然语言通信的挑战与突破离散信号实验取得了成功但为了更贴近真实人类交流我们决定引入自然语言。我们使用了一个经过微调的小型语言模型如GPT-2或T5作为智能体的“语言生成模块”。5.1 从离散信号到连续语义空间这一转变带来了根本性的挑战探索空间爆炸离散信号时通信动作空间是有限的如20个预定义信号。而自然语言几乎是无限的组合智能体初期生成的几乎都是无意义的乱码无法传递有效信息。语义理解与接地智能体需要将自己内部的抽象观察如“看到玩家X在位置Y”映射为一句通顺的话“我刚在医疗室看到红了”同时还要能解析其他智能体话语中的语义将其映射回内部状态。这需要“语言”与“世界模型”的强关联。我们的解决方案是分阶段训练阶段一模仿学习。我们收集了大量人类玩《Among Us》的对话文本训练一个语言模型来模仿人类在类似游戏状态下的发言。这为智能体提供了一个合理的语言先验。阶段二联合微调。我们将这个预训练的语言模型与智能体的策略网络连接起来作为一个整体进行强化学习微调。奖励信号游戏胜负会同时优化策略和语言生成。智能体逐渐学会为了获得更高奖励而生成“更有用”的话语。5.2 涌现的“行话”与高级欺骗引入语言后最有趣的现象出现了语境化指代智能体发展出了基于游戏上下文的简略指代。例如它们不再说“我去了Electrical并完成了Fix Wiring任务”而是说“我搞定了电房的线”。这里的“搞定”在语境中特指修复任务。模糊指控与心理战术内鬼开始使用更狡猾的语言如“我觉得A的行为有点怪但我说不上来具体哪里怪”这种模糊的指控很难被证伪却能有效在群体中播下怀疑的种子。谎言的可检测性我们发现在压力下如被多人质疑时内鬼智能体生成的谎言在语言模型的特征空间里与真实陈述存在细微但可统计的差异。例如谎言中可能包含更多的不确定词“可能”、“好像”、更多的细节修正“我先去了仓库不等等是先去仓库然后去了反应堆”或者与已知事实存在不易察觉的时间线矛盾。一些船员智能体似乎学会了捕捉这些特征尽管它们无法明确表述规则。注意事项引入大语言模型会极大增加训练成本和环境复杂度。在项目中期我们一度陷入困境因为智能体沉迷于“语言游戏”——发表长篇大论但毫无信息量的发言影响了决策效率。我们不得不引入一个“通信成本”惩罚对过长的发言施加微小的负奖励并鼓励简洁、信息密度高的表达这才使交流重回正轨。6. 实验发现与对现实多智能体系统的启示通过对海量实验数据的分析我们得出了一些超越游戏本身的结论对设计鲁棒的自主多智能体系统具有重要参考价值。6.1 欺骗是通信系统的“压力测试”一个只能处理真实信息的通信系统是脆弱的。内鬼的存在迫使整个多智能体系统进化出了冗余验证、信用评估和逻辑推理能力。这类似于网络安全中的“红蓝对抗”。在我们的实验中经历过与高水平内鬼对抗的船员群体其决策鲁棒性远高于一直在“和平环境”下训练的群体。适度的对抗性压力是提升多智能体系统协作智能和韧性的有效手段。6.2 信任不能是二元的必须是动态可度量的在初期设计中我们曾尝试让智能体简单地将他人标记为“可信”或“不可信”。这很快导致了系统僵化——一次误判就永久丧失合作可能。我们后来引入的连续信任度模型允许智能体根据新证据不断修正判断。这更符合现实世界的信任建立过程。在自动驾驶车队的编队行驶中车辆A需要根据车辆B长期稳定的驾驶行为如保持安全距离、平稳变道来动态评估其可靠性而不是一次急刹就将其永久拉黑。6.3 通信协议需要平衡效率与抗欺骗能力离散信号效率高、无歧义但表达能力有限且一旦协议被攻击者知晓极易被利用。自然语言表达丰富、灵活能传递 nuanced 的信息和进行逻辑辩论但存在歧义、冗长和被用于高级心理欺骗的风险。我们的实验表明未来的多智能体通信可能需要一种分层或混合协议底层使用高效、加密的标准化信号传递关键状态信息如位置、意图上层在需要复杂协商或异常处理时启用更富表现力的自然语言或类语言接口。6.4 可解释性是建立信任的关键在会议中那些能提供具体、可验证观察的智能体“我在3:15于监控室看到X经过方向朝反应堆”其指控更容易被采信。这启示我们在现实的多智能体系统中要求智能体为其决策或报告提供“理由”或“证据链”能极大增强系统的透明度和可靠性。例如一个协作机器人报告“零件缺失”时如果它能同时提供“在库存数据库查询记录”和“视觉传感器扫描空货架”的证据它的报告就会比单纯断言更可信。7. 常见问题与实验复现指南如果你对这个实验感兴趣想在自己的环境中复现或拓展这里有一些关键问题的解答和避坑指南。7.1 实验复现的核心配置清单组件推荐配置/方案说明与备选模拟环境自定义Python模拟器核心是精确建模视野、任务、击杀冷却、会议机制。可参考PettingZoo或Gymnasium的多智能体接口规范。智能体算法PPO (近端策略优化) 或 MADDPGPPO更稳定适合离散-连续混合动作空间移动离散通信连续。MADDPG在处理连续通信时可能更优。神经网络框架PyTorch生态丰富自定义灵活。TensorFlow也可。策略网络多层感知机(MLP) LSTMMLP处理当前观察LSTM处理历史事件和通信序列。对于语言模型可接在LSTM之后。通信模块初期离散信号One-hot后期微调DistilGPT-2或T5-small离散信号易于训练。引入语言模型时务必从预训练模型开始并进行模仿学习预热。训练基础设施单机多进程CPU或分布式RL框架如Ray对于中等规模实验8智能体单机多进程足以。大规模探索需分布式框架。奖励函数设计差异化、稀疏奖励稠密引导胜负奖励稀疏必须足够大以驱动学习。可添加小额的稠密奖励如任务进度、信息一致性加速收敛。7.2 训练过程中的典型问题与排查问题智能体不学习奖励曲线无增长。排查点1奖励尺度。检查正负奖励是否平衡。如果内鬼被驱逐的惩罚-3远大于击杀奖励0.5它就没有杀人动机。尝试调整奖励使期望收益导向期望行为。排查点2探索不足。智能体可能卡在局部最优如所有船员抱团不动。可以尝试在策略中增加熵奖励鼓励动作多样性或在训练初期使用较高的探索率如epsilon-greedy。排查点3信用分配。在多智能体环境中一个智能体的成功可能依赖于队友的行为导致它不清楚自己的动作哪部分导致了奖励。可以考虑使用反事实基线或Q值混合网络等方法来更好地分配信用。问题引入语言模型后训练不稳定或崩溃。排查点1语言动作空间过大。直接从随机文本开始学RL几乎不可能。必须进行模仿学习预训练让语言模型先学会说“人话”游戏相关的话。排查点2梯度爆炸/消失。语言模型和策略网络联合训练时梯度流可能不稳定。尝试梯度裁剪并适当降低学习率。排查点3无效通信泛滥。智能体可能发现发送任意文本对奖励无影响于是“摆烂”。需要在奖励函数中显式加入对通信有效性的激励或惩罚例如基于发言后团队决策正确性的延迟奖励或对过于频繁、冗长发言的小额惩罚。问题智能体策略单一缺乏深度。排查点1环境复杂度不够。如果地图太小、任务太简单策略空间本身就有限。尝试增加地图复杂度、任务种类和破坏选项。排查点2对手强度固定。使用自博弈或课程学习。让智能体种群内部相互对抗或者从简单的内鬼随机行动开始训练船员然后逐步切换到由之前训练好的高级船员扮演的“老师内鬼”。排查点3观察空间不充分。智能体是否需要记忆更长的历史是否应该感知到更细粒度的信息如其他智能体的移动速度、面向扩充观察空间可能催生更精细的策略。7.3 从实验到实际应用的思考这个实验的最终目的不是打造一个《Among Us》AI冠军而是提炼设计原则。当我们将这些原则应用到现实系统时需考虑计算与通信开销实时动态信任评估和复杂通信需要消耗资源。在无人车或无人机上需在算法复杂度和实时性间取得平衡。安全与伦理边界我们是在受控环境中研究欺骗。在现实中必须为AI系统设定严格的伦理准则防止其将欺骗能力用于有害目的。系统的核心目标应是增强协作和透明度。人类与AI的混合团队未来很多场景将是人机协作。我们的智能体如何与人类沟通并建立信任这需要研究人类可解释的AI决策和自然的人机交互接口。这个项目就像一把钥匙打开了一扇名为“对抗性协作智能”的大门。它告诉我们完美的合作并非源于天真的信任而是源于一个能经受住欺骗考验、能动态修复信任、并能进行有效信息博弈的坚韧系统。在AI日益融入群体决策的今天这方面的研究不仅有趣更是至关重要。