1. 项目概述当语言模型学会“脑补”世界最近在强化学习RL和语言模型LM的交叉领域一个名为“Masked Diffusion Language Models”掩码扩散语言模型的概念开始引起关注。这个听起来有点拗口的技术其核心思想却非常直观它试图让语言模型不仅能理解和生成文本更能像人类一样根据不完整的观察去“脑补”或“想象”一个动态变化的世界状态并基于这种想象来做出决策。这直接指向了构建更强大、更自主的智能体Agent这一终极目标。传统的基于文本的智能体比如在ALFWorld或ScienceWorld这类文本环境里闯关的AI通常依赖于一个预训练好的语言模型如GPT系列作为其“大脑”。这个大脑接收环境描述一段文本然后输出一个动作指令也是一段文本。但这里存在一个根本性的瓶颈语言模型本质上是一个静态的知识库和模式匹配器它并不真正“理解”动作会如何改变环境状态。它更像是一个经验丰富的顾问根据历史对话给出建议而不是一个身处环境中的“演员”。而Masked Diffusion Language Models的提出正是为了弥合这一差距。它借鉴了图像生成领域大放异彩的扩散模型Diffusion Models的思想但将其应用于文本序列的建模。简单来说它不再仅仅预测下一个词而是学习一个“去噪”过程给定一个被随机“掩码”遮盖或“噪声”污染的未来世界状态描述例如“厨房的台面上有一个苹果[被掩码]一个空盘子”模型的任务是逐步恢复出最可能的世界状态“厨房的台面上有一个苹果旁边是一个空盘子”。通过这种方式模型被迫学习世界状态之间的转移概率即“执行某个动作后世界可能会变成什么样”。这使得它从一个被动的文本生成器转变为一个可以主动进行“思维模拟”的世界模型。这对于Agentic RL智能体强化学习意味着一次能力跃迁。智能体可以利用这个内部世界模型在采取真实行动前先在心里“推演”几步评估不同动作的潜在后果从而做出更深思熟虑、更长期的规划。同时因为模型是在文本层面进行模拟所以它天然具备了极强的“可引导性”Steerable——我们可以通过自然语言指令轻松地调整模型的“想象”方向比如“请想象一个更高效的解决方案”或“请考虑一下安全性”。这为RL训练提供了前所未有的可控性和样本效率。2. 核心原理拆解文本扩散与世界建模如何结合要理解Masked Diffusion Language Models为何是强大的基于文本的世界模型我们需要深入其技术内核并将其与传统的自回归语言模型以及近期热门的GRPOGroup Relative Policy Optimization等RL算法联系起来。2.1 从自回归到扩散文本生成范式的转变当前绝大多数语言模型如GPT都采用自回归Autoregressive范式。它们从左到右逐个生成token每个新token的概率都依赖于之前生成的所有token。这就像一个人闭着眼睛一字一句地背诵一篇已知的文章顺序是固定的。这种范式对于流畅的文本生成非常有效但对于需要全局协调和规划的任务比如构思一个多步骤计划的结果存在固有缺陷因为它严重依赖于局部上下文难以进行全局的、并行的“思考”。扩散模型则提供了一种不同的生成哲学。以图像生成为例它首先向一张清晰图片逐步添加噪声直到变成完全随机的噪声图这个过程叫前向扩散。然后模型学习一个反向过程从噪声开始一步步预测并去除噪声最终恢复出清晰的图像。关键点在于这个去噪过程每一步都基于对“整个画面”的噪声程度估计允许更全局的协调。将这一思想迁移到文本上就产生了Masked Diffusion Language Models。这里的“噪声”或“掩码”不是像素值的扰动而是对文本序列中某些token的随机遮盖。例如一个描述世界状态的句子“The agent picks up the apple from the table.”可能被随机掩码成 “The agent [MASK] [MASK] the apple [MASK] the table.”。模型的任务不是从左到右预测被掩码的词而是并行地、迭代地去推断所有被掩码位置最可能的原始token。这个过程迫使模型同时考虑整个句子的所有上下文信息来共同推理出被遮盖部分从而学习到更丰富的联合概率分布。2.2 作为世界模型学习状态转移动力学一个真正的世界模型其核心是掌握状态转移函数P(S_{t1} | S_t, A_t)即在状态S_t下执行动作A_t后转移到状态S_{t1}的概率。在基于文本的环境中状态S和动作A都是文本序列。Masked Diffusion Language Models可以通过一种巧妙的方式进行训练来隐式地学习这个函数。训练数据可以构造成三元组(S_t, A_t, S_{t1})。在训练时我们可以将S_{t1}的部分内容掩码掉然后将S_t和A_t作为条件输入给模型让模型去恢复S_{t1}。例如条件已知S_t: “你看到一个红苹果在桌上。”A_t: “拿起苹果。”目标部分掩码S_{t1}: “你看到[MASK]在桌上手中拿着一个红苹果。”模型任务基于条件和被掩码的S_{t1}推理出[MASK]应该是“什么也没有”或“空”。通过在海量的此类交互数据上训练模型逐渐内化了文本描述的世界中动作与状态变化之间的因果关系。它学会了“拿起苹果”通常会导致“桌上苹果消失”和“手中出现苹果”。这就构成了一个基于文本的、可查询的世界模型。2.3 可引导性Steerability的来源自回归模型的可引导性通常通过提示工程Prompt Engineering或指令微调来实现但其控制往往是粗粒度的且容易在生成长文本时偏离指令。扩散模型的可引导性则更加自然和稳固这源于其迭代去噪的生成过程。在每一步去噪迭代中我们都可以注入引导信号。这类似于图像生成中的“Classifier-Free Guidance”。在文本扩散的语境下这个引导信号可以是一个自然语言指令例如“请生成一个更简短的状态描述”或“请确保动作是安全的”。具体实现时可以在训练时随机丢弃条件信息以学习无条件生成然后在推理时计算有条件噪声预测和无条件噪声预测的差值将这个差值放大后用于更新当前表示。这样最终的生成结果就会强烈地偏向于满足引导指令的方向。对于RL智能体来说这种可引导性价值连城。我们可以在智能体利用世界模型进行“心理模拟”时实时用自然语言指导其想象过程比如“多想想那些能获得高回报的路径”或“避免进入死胡同”。这使得训练目标可以动态、灵活地融入规划过程而不需要修改底层的奖励函数或重训模型。3. 在Agentic RL中的工作流程与GRPO的协同将Masked Diffusion Language Models作为世界模型集成到强化学习智能体中会形成一个新颖且强大的训练与决策框架。这里我们结合当前热门的GRPO算法来阐述一个完整的工作流程。3.1 整体架构规划、评估与学习循环一个集成Masked Diffusion World Model的RL智能体其决策循环通常包含以下几个阶段观察与状态编码智能体从文本环境如ScienceWorld接收到当前状态S_t的文本描述。该描述被编码成模型可处理的向量表示。候选动作生成利用一个策略网络通常也是一个轻量级语言模型或基于规则的生成器产生一组候选动作{A_t^1, A_t^2, ..., A_t^k}。这些动作也是文本形式如“打开冰箱门”、“用刀切苹果”。基于世界模型的蒙特卡洛树搜索MCTS或滚动规划这是核心环节。对于每个候选动作智能体使用Masked Diffusion World Model进行多步“思维模拟”。单步模拟以(S_t, A_t^i)为条件模型生成一个或多个可能的未来状态S_{t1}^i由于扩散过程的随机性可以采样多次得到可能性的分布。多步展开从S_{t1}^i出发重复上述过程选择新的动作继续用世界模型模拟形成一条或多条未来轨迹。在模拟过程中可以随时注入语言指令进行引导如“优先寻找钥匙”。价值评估每条模拟轨迹的末端都有一个价值函数V另一个训练好的网络来评估该最终状态的好坏。同时轨迹中每一步也可以从世界模型内部获得一个预测的奖励如果模型也学习了奖励预测。动作选择与执行综合所有候选动作的模拟评估结果如平均回报、上限置信区间选择一个最优动作A_t^*在真实环境中执行。数据收集与模型更新执行动作后环境返回真实的新状态S_{t1}和奖励R_t。这个真实交互数据(S_t, A_t^*, S_{t1}, R_t)被存入回放缓冲区用于后续更新世界模型、价值函数和策略网络。3.2 与GRPO算法的深度结合GRPOGroup Relative Policy Optimization是一种近年来受到关注的策略优化算法它通过分组比较来稳定训练减少方差。其核心思想是在一次更新中采样一组轨迹在组内对轨迹的回报进行归一化比较从而计算优势函数而不是与全局平均值比较。这在小批量或稀疏奖励场景下特别有效。当GRPO遇上Masked Diffusion World Model可以产生高效的协同样本效率倍增GRPO需要大量的轨迹样本来进行组内比较。在真实环境中收集这些样本成本高昂。而Masked Diffusion World Model可以在“脑海”中快速、廉价地生成大量模拟轨迹。我们可以用世界模型生成的数据来预训练或辅助训练GRPO的策略网络大幅减少真实环境交互。更稳定的优势估计在世界模型生成的模拟轨迹组内由于环境动力学是模型自身定义的其噪声和不确定性相对可控。在这些“纯净”的数据上进行组内回报比较计算出的优势函数可能更清晰、方差更小从而让GRPO的更新方向更明确。规避GRPO的潜在缺点GRPO的一个缺点是如果分组内样本质量普遍很低都得不到奖励那么相对比较可能失去意义导致更新缓慢。利用世界模型的可引导性我们可以在模拟时主动引导智能体探索高回报区域生成一些“高质量”的模拟轨迹混入分组从而为GRPO提供更有信息量的梯度信号。实操心得GRPO分组的艺术在实际配置中如何分组至关重要。不要简单地按批次随机分组。一个有效的技巧是基于初始状态的语义相似性进行分组。例如将所有“在厨房寻找食物”的模拟轨迹起始状态分在一组将“在书房解开谜题”的分在另一组。这样组内轨迹的目标和难度相近GRPO的相对比较更能凸显出动作选择上的细微优劣更新效率更高。世界模型可以轻松地根据文本条件生成属于同一主题的多个轨迹变体完美支持这种分组策略。3.3 配置与微调要点要将这套系统跑起来需要协调多个组件。以下是一个简化的配置流程世界模型预训练数据收集或生成大量文本交互数据(S, A, S‘)。可以从ALFWorld、ScienceWorld等环境的演示数据或随机游走数据开始。模型选择或构建一个基于Transformer的扩散模型架构如Diffusion-LM的变种。关键是要设计好文本的掩码与去噪策略。训练目标最小化去噪损失即模型预测的被掩码token与真实token之间的交叉熵损失。价值函数与策略网络初始化价值函数V可以是一个简单的回归头接在世界模型的编码器之后预测状态值。策略网络π可以是一个小型自回归语言模型输入状态S输出动作A的分布。可以用行为克隆Behavior Cloning在专家数据上做初始化。GRPO训练循环配置真实环境交互智能体使用当前策略与世界模型进行规划在真实环境中执行动作收集数据存入缓冲区D_real。模拟数据生成定期使用最新的世界模型和策略从缓冲区中采样一批初始状态S进行多步滚动模拟生成大量模拟轨迹数据D_sim。分组更新从D_real和D_sim的混合数据中按照前述的语义分组策略形成多个轨迹组。对每个组计算相对优势。策略更新使用GRPO的损失函数结合策略梯度与相对优势更新策略网络π。模型更新使用D_real中的真实转移数据(S, A, S‘)来微调世界模型使其更贴近真实环境动力学。同时用真实回报更新价值函数V。注意世界模型的过拟合与漂移最大的风险是世界模型在自身生成的模拟数据中“自娱自乐”逐渐偏离真实环境分布漂移。必须保证有足够比例的真实数据D_real持续用于校正世界模型。一个经验法则是模拟数据与真实数据的比例不宜长期超过10:1并且要定期用最新的真实数据对世界模型进行微调。4. 实战应用以ScienceWorld为例的完整案例解析让我们以一个具体的环境——ScienceWorld——来演示如何构建一个基于Masked Diffusion World Model的智能体。ScienceWorld是一个复杂的文本环境智能体需要在一个模拟的房子里完成各种科学任务如做实验、使用仪器等非常考验常识推理和顺序规划能力。4.1 任务定义与数据准备假设我们的任务是“在厨房里用显微镜观察洋葱表皮细胞”。这是一个多步骤任务需要先找到并取得洋葱、显微镜、载玻片、盖玻片、水等然后执行一系列制备和观察操作。第一步是构建世界模型的训练数据。我们可以通过以下方式获取(S, A, S‘)三元组人工演示录制人类玩家完成该任务的完整过程。脚本智能体编写一些基于规则的智能体在环境中随机或半随机探索收集大量状态转移数据。数据增强对已有的轨迹进行文本 paraphrasing复述改变描述方式但不改变语义以增加数据的语言多样性。一个数据样本可能如下S_t: “你站在厨房。眼前是一个料理台上面有刀、砧板和一个棕色袋子。东边是水槽西边是冰箱。”A_t: “打开棕色袋子。”S_{t1}: “你打开了棕色袋子。里面有几个洋葱和一些土豆。”在预处理时我们会随机掩码S_{t1}中的部分词例如变成“你打开了棕色袋子。里面有几个[MASK]和一些[MASK]。”4.2 世界模型训练与验证使用类似Diffusion-LM的架构进行训练。训练完成后我们需要验证其作为世界模型的质量。验证方法不是看它生成的语言是否流畅而是看它预测的状态转移是否准确。验证方法从测试集中取一批(S_t, A_t)对。用训练好的世界模型以(S_t, A_t)为条件生成k个可能的S_{t1}预测样本。计算这些预测样本与真实S_{t1}在关键实体和关系上的匹配度。例如使用一个预训练的关系抽取模型比较“包含(袋子洋葱)”这样的关系是否被正确预测。准确率比单纯的BLEU或ROUGE分数更有意义。4.3 智能体训练与规划演示假设我们已经有了一个初步训练好的策略网络知道一些基本动作如“拿起”、“打开”、“去[地方]”和价值函数。单步决策模拟 当前状态S_t: “你手中拿着一个洋葱。料理台上有显微镜、载玻片、盖玻片和一罐水。” 候选动作由策略网络提出{A1: “将洋葱放在砧板上”, A2: “去水槽”, A3: “直接用显微镜观察洋葱”}。对于动作A1世界模型进行模拟条件输入S_tA1。模型输出可能的状态S_{t1}样本“你手中拿着一个洋葱。料理台上有显微镜、载玻片、盖玻片和一罐水。洋葱被放在砧板上。”模型正确推理出“放”这个动作改变了洋葱的位置。 接着价值函数V对这个新状态进行评估。由于“洋葱在砧板上”是进行切片操作的必要前提而切片又是制作装片的前提因此这个状态可能获得较高的预测价值。相比之下对于动作A3世界模型可能会生成“你试图直接用显微镜观察整个洋葱但什么也看不清因为样本太厚不透光。” 价值函数V会给这个状态一个低分。通过这种并行模拟比较智能体会选择执行A1。多步规划 智能体可以继续从模拟出的新状态S_{t1}(“洋葱在砧板上”) 出发用世界模型展开更深的思考“接下来我该做什么切洋葱还是先去拿载玻片” 通过多步展开形成一个规划树并累计预测奖励最终选择一条期望回报最高的动作序列。4.4 引入GRPO进行策略优化在真实环境中执行了若干轮比如100个episode后我们收集了一批真实轨迹数据。现在使用GRPO进行策略更新轨迹分组我们不是随机分组。例如我们将所有以“在厨房寻找物品”开头的轨迹分到Group A将所有以“操作显微镜”开头的轨迹分到Group B。组内比较在Group A寻找物品组内有一条轨迹最终找到了所有物品获得了高回报另一条轨迹一直在兜圈子回报很低。GRPO会计算出相对于本组的平均表现高回报轨迹的优势函数为正且很大低回报轨迹为负。策略更新会显著强化高回报轨迹中的动作序列。模拟数据辅助在更新时我们不仅使用这100条真实轨迹还从世界模型中采样了1000条模拟轨迹按相同规则分组。这些模拟轨迹提供了更丰富的、在状态空间不同区域的比较信息使得优势函数的估计更加平滑和鲁棒有效缓解了GRPO在稀疏奖励下因样本少而产生的更新波动问题。5. 挑战、应对策略与未来展望尽管前景广阔但将Masked Diffusion Language Models应用于Agentic RL仍面临一系列挑战需要在实践中小心应对。5.1 主要挑战与解决方案挑战具体表现潜在解决方案与实操技巧复合误差累积世界模型在长程多步模拟中每一步的小误差会逐步放大导致最终模拟状态严重偏离真实可能状态。1. 短视规划与重规划不进行超长步数的模拟如超过10步。每在真实环境中执行1-2步就重新基于最新状态进行规划。2. 不确定性校准让世界模型除了预测状态还输出自身预测的置信度。在规划时优先探索模型自信的路径或对低置信度分支进行剪枝。3. 集成方法训练多个世界模型用其预测的一致性来衡量不确定性。文本表示的局限性世界状态被压缩成文本可能丢失一些细微的、非语言的、连续的信息如物体的精确空间位置、物理力的作用。1. 结构化状态描述在生成状态文本时引入一些简单的结构化格式或关键词如“物体X在位置Y的左边”。2. 多模态融合对于有视觉输入的环境可以结合视觉编码器构建文本-视觉联合表示的世界模型。计算开销扩散模型的迭代去噪过程比单次前向传播的自回归模型慢得多进行大规模MCTS规划时计算负担重。1. 模型蒸馏训练一个轻量化的“学生”自回归模型来模仿扩散世界模型的输入-输出行为用于快速生成候选模拟轨迹扩散模型仅用于关键节点的精细评估。2. 分层规划在高层次用快速但粗糙的模型规划抽象动作如“获取样本”在低层次用精确的扩散模型规划具体动作如“拿起刀切下洋葱表皮”。奖励函数的建模世界模型通常只建模状态转移而奖励函数R(S, A)需要额外学习。学到的奖励模型不准会误导规划。1. 联合训练在世界模型的去噪头旁边并行训练一个奖励预测头共享状态表示。2. 基于模型的奖励塑造不直接预测标量奖励而是预测是否达成了某个子目标文本描述将子目标达成作为内在奖励引导规划。5.2 与现有技术栈的集成建议对于想要实验的研究者或工程师一个务实的起步路径是环境选择从相对简单、状态空间离散的文本环境开始如TextWorld或BabyAI而不是直接挑战最复杂的ScienceWorld。这有助于快速验证原型。模型起点不必从头训练扩散模型。可以基于一个预训练好的语言模型如T5、BART在其上增加掩码去噪的训练目标进行微调。Hugging Face的transformers库为此类实验提供了良好基础。RL算法GRPO是一个不错的选择但PPO、A2C等经典算法同样可以与此框架结合。初期可以先用一个简单的REINFORCE算法验证世界模型规划的有效性再引入更复杂的优化器。评估指标除了最终任务成功率还应设立中间指标世界模型预测准确率、单步规划提升效果使用模型规划 vs 随机动作的成功率对比、样本效率达到相同性能所需的环境交互步数。5.3 未来可能的方向这个方向才刚刚起步有许多令人兴奋的扩展从文本到代码让世界模型不仅能模拟自然语言描述的世界还能模拟代码执行的环境如Python解释器。这将使智能体能通过“想象”代码运行结果来学习编程。社会智能模拟将世界模型应用于多智能体文本环境如社交对话模拟让智能体能够预测其他角色的反应从而学习更复杂的社会交互策略。与大型基础模型LFM的耦合使用像GPT-4这样的超大规模模型作为“世界模拟器”的初始化或校正器。用大模型生成高质量的模拟数据来训练小型的、专有的扩散世界模型实现能力与效率的平衡。构建一个能够真正理解、想象并改变文本世界的智能体是一条漫长但充满希望的道路。Masked Diffusion Language Models为我们提供了一种新的、强大的“想象力引擎”而GRPO等现代RL算法则为驾驭这种想象力提供了训练方法。两者的结合正推动着基于文本的智能体从简单的模式反应走向深度的认知与规划。