1. 项目概述当AI智能体在长程任务中“想”与“做”分离在AI智能体Agent的研究领域尤其是那些依赖大语言模型LLM驱动的智能体我们常常面临一个核心困境如何让智能体在复杂、多步骤的长程任务中既能保持对世界状态的准确“信念”又能做出果断、有效的“行动”传统方法往往将这两者紧密耦合智能体基于当前对环境的单一理解直接输出动作。然而这种“所见即所得”的模式在任务链条长、环境反馈延迟或模糊时极易导致智能体陷入“认知失调”——要么因早期错误信念而一错到底要么因过度谨慎而踌躇不前。Agent-BRACEBeliefs and Actions Decoupled via Verbalized State Uncertainty正是为了解决这一痛点而提出的创新框架。它的核心思想非常直观却极具启发性将智能体的“信念”Belief与“行动”Action进行解耦并通过语言化Verbalized的方式显式表达智能体对当前世界状态的“不确定性”Uncertainty。简单来说就是让智能体学会“自言自语”把心里的疑惑和猜测说出来形成一个动态更新的、包含多种可能性的“信念状态”描述然后再基于这个更丰富的认知去规划下一步行动。想象一下你被蒙上眼睛走进一个陌生房间任务是找到并打开一个特定的开关。传统的智能体可能摸到一面墙就断定“这是东墙”然后开始沿着它摸索。而采用Agent-BRACE思路的智能体则会先“说出”它的不确定性“我摸到了一面墙它可能是东墙或西墙因为我刚刚的转向可能不是90度。” 接着它会设计一个行动比如向前走几步再摸来验证或缩小这种不确定性。这种“先思后行且思中有疑”的模式对于需要长期规划的任务如多步骤机器人操作、复杂游戏通关、开放域问题求解至关重要。这个框架的提出紧密契合了当前AI Agent研究的热点方向。随着LLM能力的提升如何让其不仅仅是“聊天”而是能进行有状态的、目标导向的推理与交互成为了构建实用AI智能体的关键。Agent-BRACE通过引入显式的信念管理和不确定性语言化为LLM-based Agent赋予了更强的长期规划鲁棒性和可解释性是迈向更可靠、更智能的自主智能体的重要一步。2. 核心设计思路信念、行动与不确定性语言化的三角关系Agent-BRACE的设计并非凭空而来它建立在对现有智能体架构局限性的深刻洞察之上。要理解其精妙之处我们需要先拆解其核心设计思路这主要围绕三个关键概念的分离与互动展开信念Belief、行动Action和语言化的状态不确定性Verbalized State Uncertainty。2.1 为何要解耦信念与行动在经典的强化学习或基于LLM的序列决策模型中智能体在每一步t通常遵循观察(O_t) - 策略(π) - 行动(A_t)的流程。这里的“策略”隐含了其对当前状态S_t的信念即认为当前世界处于某个特定状态。问题在于这个信念是点估计Point Estimate的、内隐的。智能体观察到的可能只是局部、带噪声的信息O_t是S_t的不完全观测但它却必须基于此“认定”一个状态来行动。在短视任务中这或许可行。但在长程任务中早期的一个错误信念会像滚雪球一样影响后续所有决策。例如一个家庭服务机器人接到命令“把客厅茶几上的遥控器拿来”。它可能先看到茶几上有个黑色长方体物体观察就信念为“那是遥控器”点估计并执行“抓取”动作。但如果那其实是一盒磁带这个错误信念将直接导致任务失败且智能体难以回溯修正因为它没有保留“那也可能是别的东西”的其它可能性信念。解耦的核心价值在于引入了一个显式的、分布式的信念状态。智能体不再只相信一种可能性而是维护一个可能状态集合的概率分布Belief State。行动决策不再直接源于原始观察而是源于这个更稳健、包含不确定性的信念状态。这就为纠错和探索提供了空间。2.2 不确定性如何通过“语言”来表达这是Agent-BRACE最具特色的部分。传统的概率机器人学可能用概率分布如高斯分布或粒子集来表示信念状态但这对于基于LLM的智能体并不友好。LLM擅长理解和生成自然语言而非直接处理数值分布。Agent-BRACE的创新在于“语言化”Verbalization。它要求或引导LLM智能体用自然语言描述它当前对世界状态的理解并且必须将不确定性明确表达出来。例如低质量/耦合的表达“我看到一个红色的方块。”这是一个确定的观察陈述耦合了信念与行动倾向高质量/解耦的表达“根据我的视觉前方可能是一个红色的方块但也有可能是光线导致的色差看起来像红色。我更倾向于它是方块置信度70%但存在是圆柱体被部分遮挡的可能性30%。我需要从侧面观察以确认。”后一种描述就是一个“语言化的信念状态”。它包含了证据基于的观察视觉。多种假设红色的方块 vs. 像红色的圆柱体。不确定性度量用定性“可能”、“倾向于”或定量70%、30%的方式表达置信度。认知边界明确指出当前知识的局限“需要从侧面观察”。这种语言化输出成为了连接原始感知图像、文本等与行动决策的“中间件”。它既是智能体内部推理的可读记录也为后续基于文本的规划器可以是另一个LLM模块提供了富含信息量的输入。2.3 BRACE框架的运作闭环将以上两点结合起来就形成了Agent-BRACE的基本运作闭环我们可以将其概括为“感知-语言化-规划-执行-更新”循环感知与信念更新智能体接收新的观察O_t可能是图像、文本描述、传感器数据等。这个观察被输入到“信念更新模块”。该模块的核心是一个LLM其提示Prompt被精心设计要求它结合上一轮的语言化信念状态B_{t-1}和新的观察O_t生成一个新的、更新的语言化信念状态B_t。提示词会强制要求输出包含对不确定性的描述。基于信念的规划更新后的B_t被传递给“行动规划模块”通常也是一个LLM。这个模块的任务不再是直接解读原始观察而是分析B_t这个文本描述。它根据任务目标Goal和当前包含不确定性的信念推理出下一步最合适的行动A_t。这个行动的目的往往是双重的一是推进任务二是主动减少关键的不确定性信息收集。执行与观察智能体执行行动A_t并接收到新的环境观察O_{t1}循环回到第一步。这个闭环的关键在于信念状态B_t始终是以自然语言文本的形式存在和传递的。这使得整个框架可以完全构建在LLM的能力之上无需复杂的数值概率计算模型当然可以结合充分利用了LLM的常识推理和语言生成能力来处理不确定性和长程依赖。注意这里的“信念更新模块”和“行动规划模块”在实现上可以是同一个LLM通过不同的系统提示System Prompt来扮演不同角色也可以是两个专门的微调模型。核心是功能上的分离。3. 核心模块拆解与实现要点理解了宏观框架我们深入到具体实现层面。构建一个Agent-BRACE智能体需要精心设计几个核心模块每个模块都有其技术要点和“坑”。3.1 信念状态的语言化Prompt工程的艺术信念状态的语言化是整个框架的基石。如何让LLM输出我们想要的、结构化的、包含不确定性的信念描述是首要挑战。这几乎完全依赖于Prompt工程。一个有效的信念状态Prompt通常包含以下要素角色定义明确告诉LLM它现在是一个“状态推理器”负责根据证据评估世界状态。输入格式规范清晰定义输入的格式包括历史信念文本、当前原始观察如“用户说‘把它关掉’”或“图像描述一个屏幕上显示着红色指示灯的设备”。输出格式指令这是关键。必须严格要求输出格式。例如请按以下结构输出你的信念状态 1. 事实性观察直接来自输入的信息。 2. 可能性推断列出2-3种最可能的世界状态解释并为每种附上你的信心水平例如高/中/低或百分比。 3. 主要不确定性明确指出当前判断中最不确定的环节是什么。 4. 验证建议提出一个下一步行动来减少关键不确定性。示例Few-shot提供1-2个高质量的输入输出示例让LLM更好地理解任务。示例应展示如何从模糊观察中生成包含不确定性的描述。反例约束明确禁止LLM输出“我认为用户想要我...”这类行动倾向语句强制其专注于状态描述。实操心得直接要求LLM输出“信心百分比”可能不稳定它生成的数字可能没有实际校准意义。更稳健的做法是使用定性描述“非常可能”、“有可能”、“不太可能”或者结合一个简单的校准层将LLM的输出词概率映射到置信度。对于复杂环境信念状态可能会很长。可以考虑分层级先输出一个“摘要信念”一句话概括最可能的状态再展开详细的不确定性分析。一个重要技巧在Prompt中让LLM“扮演一个过度谨慎的科学家”这能有效激发其表达不确定性的倾向避免LLM过于“自信”的通病。3.2 信念更新模块让历史与当下对话信念更新模块的输入是上一轮的信念文本B_{t-1}和新的观察O_t输出是新的信念文本B_t。这本质上是一个文本融合与推理任务。实现方式主要有两种LLM直接更新将B_{t-1}和O_t拼接发送给LLM并提示“以下是智能体之前的认知和新的观察请更新你的认知状态同样遵循信念状态输出格式。” 这种方式简单依赖LLM的上下文理解和长文本记忆能力。检索增强更新对于超长任务B_{t-1}可能变得非常长超出上下文窗口。此时可以维护一个外部记忆如向量数据库。当新观察O_t到来时用其嵌入Embedding从记忆库中检索最相关的历史信念片段连同O_t一起送给LLM进行更新。同时将新生成的B_t的重要断言存入记忆库。注意事项信息冲突处理当新观察与旧信念强烈冲突时LLM需要有能力进行信念修正。在Prompt中应加入类似“如果新证据与先前认知矛盾请优先基于新证据调整认知并说明改变的原因”的指令。信念衰减与巩固对于时间久远或未被提及的信念应该逐渐降低其置信度或将其移至背景。可以在Prompt中隐含时间因素或在外部的记忆管理逻辑中实现衰减机制。计算成本每一步都需要调用LLM进行信念更新和规划token消耗较大。需要对信念描述进行压缩和提炼只保留与当前任务最相关的部分。3.3 行动规划模块从认知到决策行动规划模块接收当前的语言化信念状态B_t和任务目标G输出下一个具体行动A_t。这里的行动需要与环境接口匹配可能是自然语言指令如“点击左上角的按钮”、API调用如search(query)或机器人控制命令。规划Prompt的设计要点目标聚焦始终将任务目标G放在提示的显眼位置。信念分析要求LLM先简要解读B_t识别出当前已知什么、未知什么、最大的障碍是什么。双重目标规划明确指示规划应兼顾任务推进和不确定性消减。例如“你的规划应优先选择那些既能向目标迈进又能帮助你澄清[信念中提到的关键不确定性]的行动。”行动可行性需要让LLM知晓可用的行动集合Action Space避免生成无法执行的幻觉动作。可以通过在Prompt中列出可用动作或采用“代码-动作”模式LLM生成代码片段由解释器执行来实现。一个高效的规划策略是让LLM生成一个简短的推理链CoT然后输出行动。例如思考当前目标是找到钥匙。我相信钥匙可能在书房抽屉里置信度高但也不排除在卧室床头柜置信度中。去书房检查抽屉是最高效的因为它概率最高且距离近。如果没找到再去卧室。 行动移动到书房打开书桌的第一个抽屉。3.4 环境交互与观察生成Agent-BRACE框架本身不限定感知模态。观察O_t可以是文本来自游戏引擎的描述、网页的HTML、用户的自然语言指令。图像/视频通过视觉语言模型VLM如GPT-4V、LLaVA等将像素转换成文本描述再作为O_t输入。这里的描述Prompt也需要引导VLM表达视觉不确定性如“看起来像...但可能因为阴影...”。结构化数据传感器读数、数据库查询结果等可以转换成自然语言摘要。关键点观察O_t的生成质量直接影响信念更新的质量。一个过于简略或确定的观察描述“有一个按钮”会剥夺后续模块处理不确定性的机会。因此即使是感知阶段也应鼓励生成带有适度不确定性的描述。4. 实战演练构建一个简易的文本冒险游戏智能体让我们通过一个具体的例子将上述理论付诸实践。假设我们要构建一个能玩文本冒险游戏如Zork的Agent-BRACE智能体。游戏通过纯文本描述环境玩家输入文本命令互动。环境你站在一栋老房子的大厅里。东边有一扇木门西边有一条走廊北边是一个壁炉里面似乎有东西在反光。你的目标是找到宝藏。4.1 初始化与第一轮循环初始观察 O0游戏初始描述。初始信念 B0由于没有历史信念更新模块直接处理O0。Prompt“你是一个游戏状态分析器。根据以下游戏描述生成初始信念状态注意描述中的不确定性[O0]”LLM生成 B01. 事实性观察我位于老房子大厅。存在四个出口/物件东木门、西走廊、北壁炉。 2. 可能性推断 - 壁炉内有反光物体很可能是金属制品如钥匙、硬币是宝藏或线索的概率高80%。 - 木门和走廊通向其他房间可能包含更多线索或危险。 3. 主要不确定性反光物体的具体是什么门和走廊后方的情况完全未知。 4. 验证建议首先检查壁炉明确反光物或选择一扇门探索。规划 A0规划模块接收B0和目标找到宝藏。Prompt“当前信念[B0]。目标找到宝藏。请分析信念制定一个兼顾探索和消除关键不确定性的下一步行动命令。”LLM生成 A0检查壁炉。这个行动直接针对信念中“反光物体”这一高概率线索和主要不确定性执行与观察向游戏输入命令检查壁炉获得新观察O1你在壁炉的灰烬中摸到了一把生锈的小钥匙。4.2 第二轮循环信念更新与规划信念更新信念更新模块接收B0和O1。Prompt“以下是之前的信念和新的观察。请更新你的信念状态先前信念[B0]。新观察[O1]”LLM生成 B11. 事实性观察从壁炉获得一把生锈的小钥匙。 2. 可能性推断 - 这把钥匙很可能用于打开某个锁东边的木门或其他房间的门置信度高90%。 - 宝藏可能藏在锁着的房间或容器里。 - 西走廊和东木门仍然是未探索区域。 3. 主要不确定性钥匙具体对应哪把锁西走廊里有什么 4. 验证建议尝试用钥匙打开东边的木门或者先去西走廊探索。规划 A1规划模块接收B1和目标找到宝藏。LLM生成 A1用钥匙打开东边的木门。选择了利用已获得物品推进任务同时验证钥匙的用途通过这个简单例子可以看到智能体没有在第一次观察后就武断地冲向某个方向而是先建立了包含不确定性的信念“壁炉可能有重要东西”并据此规划了信息获取行动“检查壁炉”。获得钥匙后它更新了信念并将钥匙与未探索的门关联起来做出了合理的后续决策。4.3 扩展与优化点多轮对话与记忆在更复杂的游戏中需要将多轮信念B_t的核心断言保存到长期记忆避免遗忘关键信息如“钥匙已获得”。探索与利用的平衡规划模块需要策略地平衡“利用”前往高概率目标点和“探索”检查未知区域以减少不确定性。可以在Prompt中加入启发式规则如“如果连续两次行动未能推进目标或减少不确定性则优先执行一次纯探索行动”。子目标分解对于“找到宝藏”这样的宏观目标LLM规划器可以主动将其分解为子目标如“1. 探索大厅获取线索2. 找到关键物品3. 进入禁区4. 定位宝藏”并在信念状态中跟踪当前处于哪个子阶段。5. 常见问题、挑战与应对策略在实际实现和应用Agent-BRACE框架时会遇到一系列典型问题。以下是一些实录与排查技巧。5.1 LLM相关的挑战问题1LLM在信念状态中拒绝表达不确定性总是输出过度自信的单一描述。排查检查Prompt是否足够强调不确定性。LLM尤其是经过指令微调的模型默认倾向于给出确定、有帮助的答案。解决强化角色设定使用“你是一个谨慎的侦探/科学家你的工作是列出所有可能性并评估其可信度”。结构化输出强制要求必须输出“可能性1”、“可能性2”和“信心水平”字段。提供不确定性示例在Few-shot示例中明确展示输入是模糊的输出是包含多种可能性的。后处理如果LLM仍输出单一描述可以追加一个Prompt“针对你刚才的描述请列出至少一个其他可能性哪怕概率很低。”问题2信念更新时LLM忽略旧信念只基于最新观察做出判断导致状态记忆丢失。排查观察生成的B_t是否完全基于O_t而没有提及或整合B_{t-1}中的信息。解决在Prompt中显式对比“以下是你之前认为的[B_{t-1}]。现在是新的观察[O_t]。请综合考虑新旧信息给出更新的认知。”使用摘要如果B_{t-1}太长先让一个LLM对其进行摘要提取与当前任务最相关的核心事实和未解疑问再将摘要与O_t一起送入更新模块。引入记忆权重在Prompt中指示“较早的信息如果未被新证据反驳应予以保留”。问题3行动规划模块生成的行动不切实际或无法被环境执行。排查检查行动A_t是否在环境允许的动作空间内。解决限定动作空间在规划Prompt中明确列出所有可用基础动作如go [direction],take [item],use [item] on [object]。两步验证法先让LLM生成“意图”如“我想打开东边的门”再通过一个简单的规则映射或第二个小型LLM调用将意图转化为具体的、格式化的动作命令。环境反馈学习当动作执行失败时将错误信息如“你不能那样做”作为负反馈纳入下一轮的观察O_{t1}让信念更新模块学习到动作的约束。5.2 框架效率与成本挑战问题4每一步都需要多次LLM调用信念更新规划延迟高成本大。解决轻量级模型分工使用小型、高效的模型如7B-13B参数的本地模型负责信念更新和规划而让超大模型如GPT-4仅负责处理复杂的、需要深度推理的瓶颈步骤。信念缓存如果连续几步观察没有带来信息量的显著变化可以跳过信念的完全更新只做微调或直接复用上一步信念。批处理与异步在模拟环境或允许异步操作的场景中可以并行运行多个候选动作的“思维链”推理。动作序列规划不是每一步都规划而是让规划模块在关键决策点生成一个短序列的动作如“先去检查壁炉拿到钥匙后去开东门”然后顺序执行期间只进行简单的信念监控更新。5.3 不确定性度量的挑战问题5语言化的置信度如“高/中/低”缺乏定量标准难以用于严谨的决策如贝叶斯更新。解决模糊逻辑将定性置信度映射到一个模糊集合如“高”对应0.7-1.0“中”对应0.3-0.7“低”对应0-0.3用于近似的效用计算。校准层收集LLM在类似任务上输出“信心水平”与实际正确率的数据训练一个简单的校准模型将LLM的输出词概率或置信度描述转化为校准后的概率值。放弃精确概率采用排序对于许多任务不需要精确概率只需要知道可能性A 可能性B即可。规划时优先针对可能性最高的假设采取行动同时为次高假设准备备用计划。问题6在视觉等连续空间中不确定性描述变得极其复杂和冗长。解决分层描述先由VLM生成一个全局的、不确定性的概述“图像中可能是一个厨房但有些区域昏暗难以辨认”再针对任务相关的特定对象进行细粒度不确定性描述“台面上的物体可能是杯子或小碗”。结合传统计算机视觉使用目标检测模型输出带置信度分数的边界框将这些结构化信息[物体 坐标 置信度]转换成自然语言描述再输入给LLM进行信念整合。例如“检测模型以85%的置信度认为区域A有一个杯子以60%的置信度认为区域B有一个盘子。”Agent-BRACE框架的魅力在于其概念上的清晰和实现上的灵活性。它将LLM从“行动生成器”提升为“状态思考者”通过显式的、语言化的不确定性管理为长程任务中的智能体注入了更强的鲁棒性和可解释性。虽然在实际部署中需要仔细处理提示工程、计算效率和不确定性量化等问题但它无疑为构建下一代可靠、深思熟虑的AI智能体指明了一个富有前景的方向。在实际编码时从一个简单的文本环境开始逐步迭代每个模块的Prompt和交互逻辑是理解和掌握这一框架的最佳途径。你会发现让智能体学会“说出它的疑惑”是让它变得更聪明的关键一步。