1. 项目概述当智能体需要“长期记忆”时我们面临什么“Beyond Compaction: Structured Context Eviction for Long-Horizon Agents”这个标题精准地戳中了当前大语言模型智能体领域一个日益凸显的痛点。简单来说它探讨的是当一个AI智能体需要执行一个跨越数百甚至数千步的复杂、长期任务时如何高效地管理它那有限的“工作记忆”。这里的“工作记忆”就是LLM的上下文窗口也就是我们常说的Token预算。想象一下你正在玩一个极其复杂的解谜游戏游戏规则手册有上万页但你的桌面只能同时摊开几十页。你需要不断翻阅、查找、做笔记然后把暂时用不到的部分收起来但又不能收得太随意因为可能下一秒就需要用到某个关键的细节。LLM智能体面临的正是这样的困境。传统的解决方案比如标题中提到的“Compaction”压缩就像是把不用的书页粗暴地揉成一团或者拍一张模糊的照片存档。虽然腾出了桌面空间但信息的保真度和结构性严重受损当需要回溯时智能体可能只得到一个失真的、难以理解的片段。这对于短期、简单的任务或许够用但对于“Long-Horizon”长视野任务——例如自主进行多轮科学研究、编写一个大型软件项目、或者管理一个持续数天的复杂工作流——这种信息损失是致命的。它会导致智能体遗忘关键的任务前提、偏离最初的目标或者在复杂的决策链中迷失方向。因此这个项目提出的“结构化上下文驱逐”其核心思想不再是简单地“扔掉”旧信息而是像一位经验丰富的图书管理员或项目经理一样对涌入上下文的信息进行“结构化”的归档与索引。它旨在建立一套智能的、基于任务语义的规则来决定哪些信息需要被优先保留在“桌面”活跃上下文上哪些可以被安全地转移到“档案柜”外部记忆库中并且确保在需要时能够快速、精准地从档案柜中检索出最相关的片段无缝地放回桌面。这不仅仅是内存管理更是为智能体构建一个动态的、可扩展的“外脑”使其真正具备处理长期、复杂任务的能力。接下来我将深入拆解这一方案的设计思路、核心实现与背后的深层考量。2. 核心设计思路从“粗暴丢弃”到“精细归档”2.1 为何传统压缩方法在长视野任务中失效在深入结构化驱逐方案之前我们必须先理解为什么简单的上下文压缩Compaction会成为一个问题。常见的压缩策略包括滑动窗口只保留最近N个Token的对话或思考。这就像只记得最后几分钟的谈话完全忘记了任务是如何开始的。摘要压缩将一大段历史信息用另一个LLM调用总结成几句话。这引入了额外的计算开销API调用和Token消耗更严重的是摘要过程必然伴随信息丢失和可能的偏差。一个关于bug详细现象的描述被总结成“存在一个错误”就丢失了复现步骤、环境信息等关键细节。关键信息提取试图只提取出所谓的“关键”实体或事实。然而在复杂任务中“关键”是高度上下文相关的。前期一个看似普通的用户偏好可能在后期成为决策的核心依据。这些方法的根本缺陷在于它们将上下文管理视为一个独立的、与任务目标脱钩的存储问题。而长视野智能体的核心挑战在于任务的连续性和状态的依赖性。后续的每一步行动都高度依赖于对历史状态、已执行操作及其结果、以及环境反馈的精确理解。粗暴的压缩破坏了这种连续性导致智能体陷入“健忘症”重复尝试已经失败的方法或者无法利用之前积累的经验。2.2 结构化驱逐的核心范式转变“结构化上下文驱逐”范式带来了三个根本性的转变从Token中心到语义中心不再仅仅盯着Token数量而是理解信息的语义角色。一段文本是“任务目标描述”、“已执行的操作步骤”、“操作产生的环境状态”、“从失败中学习到的规则”还是“用户的额外约束”不同的语义类别其重要性、访问频率和生命周期都不同。从被动清理到主动管理驱逐不是一个在上下文窗口满时才触发的紧急操作而是一个贯穿任务始终的、主动的缓存管理策略。智能体在生成每一步的思考和行动时就在为信息“打标签”预测其未来价值。从丢弃到归档与索引被移出主要上下文的信息并非消失而是被存储到一个结构化的外部记忆体中。这个记忆体具备高效的检索能力确保智能体在需要时可以快速召回。这个范式的核心是建立一个信息价值评估体系。我们可以设想一个评估函数为上下文中的每一段信息或信息块计算一个“保留分数”。这个分数可能基于新鲜度最近被使用或生成的信息通常更重要。相关性与当前任务步骤和最终目标在语义上的紧密程度。信息密度该段落是否包含了独一无二、不可从其他部分推导出的关键事实或决策依据访问频率在历史中被检索或引用的次数。创建成本生成该信息所消耗的计算资源例如它是一个昂贵工具调用的结果。基于这个动态评分系统可以决定哪些信息留在昂贵的“高速缓存”主上下文中哪些被移至“主存”外部向量数据库甚至哪些可以被最终丢弃。3. 系统架构与核心组件实现一个完整的结构化上下文驱逐系统通常包含以下几个核心组件它们协同工作实现智能的记忆管理。3.1 信息分块与语义标注层这是所有工作的基础。原始的信息流对话历史、工具调用结果、智能体的内部思考需要被切割成有意义的“块”并赋予语义标签。分块策略不能简单地按固定Token数切割。更优的策略是基于语义边界例如按对话轮次分块。按完整的“思考-行动-观察”循环分块。按自然段落或代码块分块。使用LLM本身或轻量级模型进行句子边界检测和话题分割。语义标注为每个块分配一个或多个标签。这可以通过以下方式实现预定义分类器训练一个小的分类模型识别如Goal,Action,Observation,Error,Constraint,Learning等类别。基于嵌入的聚类将块的嵌入向量与一组预定义的原型向量进行比较归入最相似的类别。LLM零样本/少样本标注对于灵活性要求极高的场景可以用提示词让LLM为每个块生成标签。虽然成本较高但准确度好。实操心得分块和标注的粒度是关键权衡点。粒度过粗如整个任务一个块则失去了管理的意义粒度过细如每句话一个块则会产生巨大的元数据开销。实践中我们发现以“一个完整的原子操作单元”为块例如一次工具调用及其对应的参数、执行结果、智能体对结果的解读在大多数任务中取得了较好的平衡。3.2 价值评估与优先级评分模块这是系统的“大脑”负责计算每个信息块的当前价值分数。一个实用的评分模型可以是多个因素的加权和保留分数 w1 * 新鲜度因子 w2 * 语义相关性 w3 * 访问频率 w4 * 信息熵因子 ...新鲜度因子通常随时间指数衰减。新鲜度 e^(-λ * Δt)其中Δt是自上次访问以来的时间λ是衰减系数。语义相关性计算当前任务步骤的嵌入向量与该信息块嵌入向量的余弦相似度。这是召回相关记忆的关键。访问频率记录该块被主动检索或引用的次数。高频访问的块显然是热点。信息熵因子一个更高级的指标评估该块内容的“独特性”。可以通过计算该块嵌入与上下文内其他所有块嵌入的平均相似度来近似相似度越低独特性越高价值可能越大。这些权重w1, w2, w3...不是固定的它们应该能够根据任务类型进行动态调整或学习。例如在一个严格按步骤执行的流程中新鲜度和访问频率可能更重要而在一个需要创造性发散的任务中独特的信息熵因子权重可能更高。3.3 记忆存储与检索层当主上下文窗口即将触达Token上限时低分的信息块需要被“驱逐”。但它们不是被删除而是被送入一个结构化的记忆存储层。存储后端最常用的选择是向量数据库如Chroma, Weaviate, Pinecone。每个被驱逐的信息块连同其语义标签、元数据创建时间、最后访问时间、访问次数以及最重要的——其文本嵌入向量被存入向量库。索引结构除了全量的向量索引还可以根据语义标签建立倒排索引。这样当需要检索与“错误处理”相关的历史时可以直接过滤出标签包含Error的块再进行向量相似度搜索极大提升检索效率和准确性。检索策略当智能体在处理当前步骤需要历史信息辅助时触发检索。检索查询通常是当前上下文或思考的嵌入向量。系统会从向量数据库中召回Top-K个最相似的记忆块。结合这些记忆块的元数据如分数、新鲜度进行重排序。将排名最高的若干个记忆块以其原始文本或经过轻微概括的形式重新注入到智能体的主上下文提示中。3.4 上下文的动态重组与注入检索回来的记忆如何融入当前上下文也是一门学问。不能简单地将文本附加在最后。注入位置通常将最重要的相关记忆放在系统提示词之后、当前任务描述之前作为“背景知识”。其他相关记忆可以放在最近的历史之后。注入格式需要清晰的格式化以避免混淆。例如[相关记忆召回] - 记忆ID: 12 | 标签: Action-Observation | 时间: 步骤 45 内容尝试使用 requests.get() 访问API端点A失败返回状态码429请求过多。 - 记忆ID: 78 | 标签: Learning | 时间: 步骤 102 内容学习到对该API的请求需要添加至少2秒的间隔否则会触发限流。 [当前任务]Token预算管理每次检索和注入本身也消耗Token。系统需要有一个预算分配器为主上下文、本次检索注入、以及为下一步思考预留空间进行动态规划。一种策略是设置一个“注入预算”确保检索回来的记忆总Token数不超过这个预算。4. 关键参数调优与实战策略实现这个系统并非一劳永逸其中充满了需要根据实际场景调优的“旋钮”。4.1 评分函数权重的调优权重参数w1, w2, ...的设定直接影响智能体的“性格”。我们可以通过一个小的验证任务集来进行网格搜索或贝叶斯优化。实验设计设计几个具有代表性的长视野任务如一个需要多步查询和汇总的报告生成任务或一个调试脚本的任务。为每个任务设定明确的成功标准如最终报告的关键信息点覆盖率、调试成功的步数。评估指标不仅看任务最终是否成功还要看过程指标平均每一步的决策时间受检索开销影响、任务完成的总步数、以及“遗忘率”重复犯同样错误的频率。调优过程自动化地遍历不同的权重组合运行智能体完成任务记录上述指标。寻找那些能在成功率和效率之间取得最佳平衡的参数集。4.2 分块大小与检索数量的权衡分块大小较大的块包含更多上下文单次检索信息量足但可能包含冗余较小的块更精准但需要更频繁的检索且可能失去局部连贯性。一个实用的方法是分层分块先按大主题分块每个大块内部再按子主题分块。检索时可以先召回大块如果需要细节再定位到大块内部的子块。检索数量K每次召回多少个记忆块K值太小可能遗漏关键信息K值太大会挤占宝贵的上下文空间并引入噪声。动态K值是一个好策略可以根据当前上下文的剩余空间和查询的确定性来调整K。例如当智能体发出一个非常具体的查询高确定性时可以设置较小的K当它表达“我需要一些关于X的背景”时低确定性可以设置较大的K进行广泛搜索。4.3 外部记忆库的维护与清理记忆库不能无限增长否则检索效率会下降且会积累大量过时、无效的信息。记忆衰减与淘汰可以为每个记忆块设置一个“全局生命值”该值随着时间衰减并且每次被成功检索并助力任务成功后可以获得“奖励”而增加。定期例如每N个任务步骤扫描记忆库淘汰生命值低于阈值的记忆块。记忆融合对于语义高度相似、时间上接近的多个记忆块可以触发融合操作。例如将多个关于“API限流”的观察和学习融合成一个更精炼、更全面的知识条目。这可以由一个总结性LLM调用来完成。5. 常见问题、挑战与应对方案在实际部署结构化上下文驱逐系统时会遇到一系列典型问题。5.1 检索延迟与实时性挑战问题向量检索尤其是面对大型记忆库时可能引入几十到几百毫秒的延迟这对于需要快速反应的交互式智能体是不可接受的。解决方案分层检索首先使用基于标签的倒排索引进行快速过滤将候选集缩小到几十个再在这小集合上进行精确的向量相似度计算。近似最近邻搜索使用HNSW等近似算法在可接受的精度损失下大幅提升检索速度。缓存热点记忆将评分最高、访问最频繁的“热点”记忆块常驻在内存中的一个快速缓存中避免每次访问向量库。异步预取在智能体进行思考推理的同时异步地根据当前上下文预测下一步可能需要的记忆并进行预取。5.2 检索结果的相关性与噪声问题检索回来的记忆看似相关但实际上对当前决策没有帮助甚至产生误导噪声。解决方案重排序模型在向量相似度初筛后引入一个轻量级的交叉编码器模型或让LLM本身对Top-N个结果进行相关性重排序。虽然增加了计算但能显著提升精度。元数据过滤在检索时除了语义相似度强制加入元数据过滤器。例如“只检索标签包含Success的记忆”或“只检索最近100个步骤内产生的记忆”。置信度阈值为检索结果设置一个相似度分数阈值。低于该阈值的结果即使排名靠前也不注入上下文而是可能以“未找到高度相关记忆”的形式告知智能体。5.3 自我指涉与循环依赖问题智能体可能生成一个关于自身记忆系统的指令或思考例如“我需要回顾一下我之前是如何处理错误的”这个指令本身进入上下文又触发检索可能检索到包含类似指令的历史导致无意义的循环。解决方案区分“数据”与“指令”在分块和标注时明确区分智能体产生的任务内容数据和关于系统操作的元指令。后者不应被存入可检索的记忆库或应存入一个特殊的、隔离的元指令区。在提示词中明确边界在给智能体的系统提示中清晰说明“相关记忆召回”部分的内容是过去任务的客观记录而不是可执行的指令。提醒它区分历史事实和当前操作。5.4 长视野任务中的“目标漂移”问题在极其漫长的任务中即使记忆管理得很好智能体也可能逐渐偏离最初的核心目标陷入局部细节。解决方案定期目标重注入这不是记忆管理能单独解决的需要与任务规划层联动。记忆系统可以设置一个定时器每隔一定步骤或当检测到智能体在局部徘徊过久时主动将最原始、最清晰的任务目标描述通常是最早的几个高价值记忆块以高优先级重新注入上下文对智能体进行“目标校准”。关键决策点记忆锚定在任务规划识别出的关键决策点系统不仅检索相关记忆还会强制将与核心目标、成功标准直接相关的记忆保持在高优先级确保决策不偏离主线。构建一个高效的结构化上下文驱逐系统本质上是为LLM智能体设计一套认知架构。它没有唯一的正确答案其最佳形态严重依赖于具体任务的性质。从简单的基于规则的评分到引入强化学习让智能体自己学习如何管理记忆这其中有着广阔的探索空间。我所分享的这套框架和实战经验是一个经过验证的起点。真正实施时你需要像观察一个学徒如何学习一样仔细观察你的智能体在哪里“遗忘”在哪里“困惑”然后有针对性地调整你的分块策略、评分权重和检索逻辑。这个过程本身就是迈向更强大、更自主智能体的关键一步。