这次我们来看一个能让小模型Agent“记住”更多信息的开源方法。项目核心是给小模型Agent注入大模型记忆无需训练性能最高能提升27个百分点。对于关心本地部署、成本控制和AI Agent实际效果的开发者来说这直接解决了小模型在复杂任务中“记性差”的痛点。简单说这个方法不是训练一个新模型而是设计了一套记忆机制。在执行任务时让小模型Agent能够动态地访问一个由大模型如GPT-4生成的、结构化的“记忆库”。当小模型遇到知识盲区或需要复杂推理时就去这个记忆库里检索相关信息从而做出更准确的判断。这相当于给小模型配了一个“外接大脑”成本远低于直接使用大模型。本文会带你快速理解这套记忆注入机制的原理并提供一个完整的本地验证方案。我们将从环境搭建开始模拟一个任务场景演示如何构建记忆库、如何让小模型Agent调用记忆并对比注入记忆前后的性能差异。如果你正在研究或使用7B、13B级别的本地模型构建Agent这篇文章能帮你低成本地提升其复杂任务处理能力。1. 核心能力速览能力项说明核心创新为参数较小的本地小模型Agent注入大模型级别的记忆能力无需微调训练。性能提升根据论文数据在特定评测集上小模型Agent性能最高提升约27%。技术原理利用大模型如GPT-4为任务生成结构化的“记忆片段”小模型在执行时检索并利用这些记忆。硬件门槛极低。小模型本身可在CPU或低显存GPU运行记忆生成阶段调用大模型API本地无需高算力。启动与部署本质是一套Python代码框架通过脚本启动。记忆库可离线存储后续使用无需联网。是否支持API是。可封装成服务接收任务描述返回增强后的Agent决策或结果。是否支持批量任务是。记忆库构建后可被多个任务反复检索适合批量处理相似任务。适合场景1. 基于Llama 2/3、Qwen、ChatGLM等7B-13B模型的本地AI Agent开发。2. 任务需要世界知识、复杂推理或多步骤规划但受限于小模型上下文长度或知识截止日期。3. 希望降低大模型API调用成本将高频任务下放到小模型。2. 适用场景与使用边界这个方法最适合那些已经用上了本地小模型如通过Ollama、vLLM部署的7B模型但在实际应用中发现Agent“不太聪明”的场景。具体来说适合谁用AI应用开发者希望用低成本本地模型提供更可靠的Agent服务如自动化客服、文档分析助手、智能工作流引擎。研究者与学生希望探索小模型能力边界理解记忆机制如何影响Agent决策复现或改进相关实验。个人技术爱好者想在本地机器上搭建一个“更懂行”的私人助手处理日程、信息整理等复杂任务。能解决什么问题知识遗忘与幻觉小模型对训练数据之外的新知识或长尾事实掌握不足容易产生“幻觉”。注入记忆可以提供准确的事实依据。复杂规划能力不足面对多步骤任务如“规划一次旅行需要考虑预算、景点、交通和住宿”小模型可能规划不周全。记忆库可提供分步规划范例或约束条件。上下文长度限制小模型的上下文窗口有限无法携带大量历史对话或文档信息。将关键信息提炼为记忆片段存储需要时检索相当于扩展了有效上下文。不适合什么场景对实时性要求极高的场景记忆检索需要计算相似度引入额外延迟通常在毫秒到百毫秒级。任务完全在模型原始训练数据内且简单如果任务本身小模型就能完美处理增加记忆模块是多余的。完全离线的初次记忆构建生成高质量记忆库需要调用一次大模型API如GPT-4这一步需要网络。生成后的记忆库可完全离线使用。合规与安全边界记忆内容审核由大模型生成的记忆库其内容需符合安全规范。开发者应对生成的记忆内容进行审核避免注入有害、偏见或错误信息。数据隐私如果记忆内容涉及用户私有数据需确保记忆库的存储和访问安全符合数据保护法规。版权风险记忆库若包含受版权保护的特定文本、代码或解决方案需注意使用边界避免侵权。3. 环境准备与前置条件在开始动手前请确保你的开发环境满足以下基础要求。这套方案对本地算力要求不高重点在于代码和API的整合。1. 操作系统推荐Linux (Ubuntu 20.04) macOS Windows 10/11 (需配置WSL2或原生Python环境)。系统差异主要影响Python包安装核心逻辑跨平台。2. Python环境版本Python 3.8 - 3.11。建议使用3.9或3.10以获得最佳兼容性。包管理强烈建议使用conda或venv创建独立的虚拟环境避免依赖冲突。3. 核心依赖包以下是通过pip安装的核心库用于实现记忆检索、向量化、模型调用等# 在激活的虚拟环境中执行 pip install openai1.12.0 # 用于调用大模型API生成记忆 pip install sentence-transformers # 用于将文本转化为向量构建记忆索引 pip install faiss-cpu # 或 faiss-gpu用于高效的向量相似度检索 pip install chromadb # 可选另一种向量数据库易于使用 pip install requests pip install numpy pip install pandas # 用于处理结构化数据如果记忆以表格形式存储4. 大模型API访问权限你需要一个能访问OpenAI GPT-4/3.5-Turbo或等能力大模型如Claude、DeepSeek的API密钥。这一步是一次性的用于为你的目标任务生成初始记忆库。生成后后续小模型推理完全离线。5. 本地小模型运行环境方案AOllama - 推荐安装Ollama并拉取一个7B级别的模型如llama3:8b,qwen:7b,mistral:7b。# 安装Ollama后拉取模型 ollama pull llama3:8b方案BvLLM如果你需要更高的吞吐量可以部署vLLM服务。pip install vllm # 启动一个vLLM服务 python -m vllm.entrypoints.openai.api_server --model meta-llama/Llama-2-7b-chat-hf --port 8000方案CTransformers库直接调用适合快速原型验证。pip install transformers torch accelerate6. 硬件要求CPU现代多核CPU即可。内存建议16GB以上用于加载模型和运行向量检索。GPU可选但推荐如果希望小模型推理更快一块具有8GB以上显存的GPU如RTX 3060/4060会有很好体验。纯CPU推理完全可行只是速度慢一些。磁盘空间预留10-20GB空间用于存放模型文件和记忆库数据。4. 安装部署与启动方式本项目不是一个单一的可执行文件而是一个代码框架和实现思路。我们将按照以下步骤搭建一个最小可验证系统。第一步克隆示例代码库或创建项目结构你可以参考相关论文的开源实现如果作者提供了或者按照以下结构自行组织项目mkdir memory-augmented-agent cd memory-augmented-agent # 创建项目目录结构 mkdir -p memory_lib tasks scripts touch main.py memory_lib/__init__.py memory_lib/encoder.py memory_lib/retriever.py memory_lib/generator.py touch tasks/agent.py touch scripts/build_memory.py scripts/run_agent.py第二步构建记忆库关键步骤记忆库的构建是一次性离线过程。我们编写一个脚本scripts/build_memory.py其核心逻辑是定义你的目标领域或任务集例如“常见编程问题解答”、“旅行规划要点”、“历史事件时间线”。针对每个任务或知识点调用大模型API生成结构化的“记忆片段”。结构可以包括问题、关键事实、推理步骤、注意事项等。使用sentence-transformers将每个记忆片段编码为向量。将向量和对应的原始文本存储到向量数据库如FAISS中。# scripts/build_memory.py 示例核心代码 import openai import json from sentence_transformers import SentenceTransformer import faiss import numpy as np # 1. 配置大模型API openai.api_key your-api-key MODEL_FOR_MEMORY gpt-4-turbo-preview # 2. 定义种子任务或问题列表 seed_questions [ 如何用Python快速读取一个大型JSON文件, 在预算有限的情况下规划一次北京三日游有哪些必去景点和节省开支的技巧, 解释一下Transformer模型中的注意力机制。, # ... 更多任务 ] # 3. 初始化文本编码器 encoder SentenceTransformer(all-MiniLM-L6-v2) # 轻量且效果不错的模型 # 4. 调用大模型生成记忆并编码存储 memory_data [] vectors [] for question in seed_questions: # 调用大模型生成结构化记忆 prompt f 请针对以下问题生成一份结构化的知识记忆包含关键事实、推理步骤和常见误区。 问题{question} 请以JSON格式输出包含字段summary, key_facts, reasoning_steps, caveats。 response openai.ChatCompletion.create( modelMODEL_FOR_MEMORY, messages[{role: user, content: prompt}], temperature0.3 ) memory_json json.loads(response.choices[0].message.content) memory_text f{memory_json[summary]} {memory_json[key_facts]} # 编码为向量 vector encoder.encode(memory_text) memory_data.append({ id: len(memory_data), question: question, memory: memory_json, text: memory_text }) vectors.append(vector) # 5. 构建FAISS索引并保存 vectors_np np.array(vectors).astype(float32) index faiss.IndexFlatL2(vectors_np.shape[1]) # 使用L2距离 index.add(vectors_np) faiss.write_index(index, ./memory_lib/memory_index.faiss) with open(./memory_lib/memory_data.json, w, encodingutf-8) as f: json.dump(memory_data, f, ensure_asciiFalse, indent2) print(f记忆库构建完成共 {len(memory_data)} 条记忆。)运行此脚本生成记忆库文件 (memory_index.faiss,memory_data.json)。注意此步骤会产生大模型API调用费用。第三步启动增强后的Agent服务接下来我们创建主Agent逻辑tasks/agent.py和启动脚本scripts/run_agent.py。# tasks/agent.py import json import faiss import numpy as np from sentence_transformers import SentenceTransformer from openai import OpenAI # 假设我们通过OpenAI格式API访问本地小模型 class MemoryAugmentedAgent: def __init__(self, local_model_base_urlhttp://localhost:11434/v1, local_model_namellama3:8b): # 加载记忆库 self.memory_index faiss.read_index(./memory_lib/memory_index.faiss) with open(./memory_lib/memory_data.json, r, encodingutf-8) as f: self.memory_data json.load(f) self.encoder SentenceTransformer(all-MiniLM-L6-v2) # 初始化本地小模型客户端 (以Ollama为例) self.client OpenAI( base_urllocal_model_base_url, api_keyollama, # Ollama不需要真实key ) self.model_name local_model_name def retrieve_memory(self, query, top_k3): 检索与查询最相关的记忆 query_vector self.encoder.encode(query).astype(float32).reshape(1, -1) distances, indices self.memory_index.search(query_vector, top_k) retrieved_memories [] for idx in indices[0]: retrieved_memories.append(self.memory_data[idx]) return retrieved_memories def generate_response(self, user_query): 增强生成先检索记忆再结合记忆生成回答 # 1. 检索相关记忆 memories self.retrieve_memory(user_query) memory_context \n\n.join([f[记忆{i1}]: {m[text]} for i, m in enumerate(memories)]) # 2. 构造增强后的提示词 augmented_prompt f 你是一个智能助手在回答问题时可以参考以下相关背景知识 {memory_context} 用户问题{user_query} 请基于上述背景知识如果相关和你的理解给出准确、有帮助的回答。 如果背景知识与问题无关请忽略它依靠你自己的知识回答。 # 3. 调用本地小模型 response self.client.chat.completions.create( modelself.model_name, messages[{role: user, content: augmented_prompt}], streamFalse, temperature0.7 ) return response.choices[0].message.content# scripts/run_agent.py from tasks.agent import MemoryAugmentedAgent import sys def main(): agent MemoryAugmentedAgent() print(记忆增强型Agent已启动。输入quit退出。) while True: try: user_input input(\n用户: ) if user_input.lower() quit: break response agent.generate_response(user_input) print(f\n助手: {response}) except KeyboardInterrupt: break except Exception as e: print(f出错: {e}) if __name__ __main__: main()第四步启动服务并测试确保你的本地小模型服务正在运行例如Ollama服务在后台运行。在终端运行Agent交互脚本python scripts/run_agent.py此时你可以输入问题Agent会先检索记忆库再结合记忆生成回答。5. 功能测试与效果验证现在我们来系统性地验证记忆注入是否真的提升了小模型Agent的能力。我们将设计几个测试用例对比同一个本地小模型在“无记忆”和“有记忆”两种模式下的表现。测试环境准备本地模型Ollama运行的llama3:8b。记忆库已构建一个关于“Python编程”、“旅行规划”和“基础科学”的混合记忆库约100条记忆。对比方式基线无记忆直接向本地模型提问。实验组有记忆通过我们编写的MemoryAugmentedAgent提问。5.1 测试用例一事实性知识补全目的验证记忆能否弥补小模型对训练数据截止日期后或长尾事实的缺失。查询“特斯拉Cybertruck的电池容量是多少”基线无记忆回答可能回答一个过时的数据或直接说“我不知道”。记忆注入流程Agent收到查询编码后去记忆库检索。记忆库中有一条由GPT-4生成的记忆“特斯拉Cybertruck基础版电池容量约为123kWh续航里程估计为400英里以上。”该记忆被检索出来并插入到提示词中。实验组有记忆回答应能准确回答“约123kWh”并可能补充续航信息。成功标准实验组回答的事实准确性显著高于基线组。5.2 测试用例二多步骤规划任务目的验证记忆能否提供任务分解的范例或约束帮助小模型进行更合理的规划。查询“我想周末从上海去杭州玩两天预算1500元请帮我规划一下行程。”基线无记忆回答可能给出一个非常笼统或不符合预算的行程例如“第一天西湖第二天灵隐寺”缺乏交通、住宿、餐饮的细节和费用估算。记忆注入流程检索到相关记忆“杭州两日游经典规划D1上午高铁抵达下午游西湖免费晚上河坊街。D2上午灵隐寺门票45下午返程。预算控制要点选择青旅或经济酒店每晚200-300餐饮每餐人均50高铁往返票约120。”另一条记忆“上海至杭州高铁约1小时票价70-120元建议提前购票。”实验组有记忆回答应能生成一个结构化的行程包含高铁班次建议、景点门票价格、住宿餐饮预算分配总花费接近1500元。成功标准实验组生成的规划在可行性、细节丰富度和预算符合度上优于基线组。5.3 测试用例三复杂概念解释目的验证记忆能否提供更清晰、更结构化的解释框架。查询“用通俗易懂的方式解释什么是区块链的共识机制。”基线无记忆回答可能给出一个技术性较强、但类比不清晰的解释。记忆注入流程检索到记忆“共识机制类比想象一个微信群要决定晚上吃什么。工作量证明(PoW)好比是每个人都要做一道复杂的数学题第一个做出来的人决定吃什么大家验证后同意。权益证明(PoS)好比是根据大家在群里的‘押金’多少来决定谁有提议权押金多的人提议如果乱提议会扣押金。”实验组有记忆回答应能借用或改编这个类比使解释更加生动易懂。成功标准实验组的解释在易懂性和逻辑性上获得主观评价更高。如何量化评估对于上述测试你可以人工评分找几位评测者对两组回答的准确性、有用性、完整性进行1-5分打分计算平均分差。使用评测模型调用一个大模型如GPT-4作为裁判让它对两组回答进行评分并给出理由。任务成功率对于规划类任务设定明确的可执行标准如包含交通、住宿、景点、预算检查回答是否满足所有标准。6. 接口API与批量任务将记忆增强Agent封装成API服务可以方便地集成到其他应用系统中。同时记忆库的特性非常适合处理批量任务。6.1 封装为Web API服务我们可以使用FastAPI快速创建一个服务。# api_server.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from tasks.agent import MemoryAugmentedAgent import uvicorn app FastAPI(title记忆增强Agent API) agent MemoryAugmentedAgent() # 全局加载一次 class QueryRequest(BaseModel): question: str top_k: int 3 # 检索记忆条数 class QueryResponse(BaseModel): answer: str retrieved_memories: list # 返回检索到的记忆用于解释和调试 app.post(/query, response_modelQueryResponse) async def query_agent(req: QueryRequest): try: # 1. 检索记忆 memories agent.retrieve_memory(req.question, top_kreq.top_k) memory_context \n\n.join([f[记忆{i1}]: {m[text]} for i, m in enumerate(memories)]) # 2. 构造提示词并生成回答这里复用agent的生成逻辑或直接调用 augmented_prompt f参考知识{memory_context}\n\n问题{req.question} # 实际调用agent的生成函数这里简化为直接调用模型 answer agent.generate_response(req.question) # 假设generate_response已集成检索 return QueryResponse(answeranswer, retrieved_memories[m[text] for m in memories]) except Exception as e: raise HTTPException(status_code500, detailstr(e)) if __name__ __main__: uvicorn.run(app, host0.0.0.0, port8000)启动服务python api_server.py调用示例使用curlcurl -X POST http://localhost:8000/query \ -H Content-Type: application/json \ -d {question: 如何学习深度学习, top_k: 2}6.2 批量任务处理对于需要处理大量相似问题的场景如客服问答、文档摘要可以预先加载记忆库然后批量处理。# batch_processor.py import pandas as pd from tasks.agent import MemoryAugmentedAgent from tqdm import tqdm import json def process_batch(input_csv_path, output_csv_path): 批量处理CSV文件中的问题 df pd.read_csv(input_csv_path) # 假设CSV有‘id’和‘question’列 agent MemoryAugmentedAgent() results [] for _, row in tqdm(df.iterrows(), totallen(df)): try: answer agent.generate_response(row[question]) results.append({ id: row[id], question: row[question], answer: answer }) except Exception as e: print(f处理问题 {row[id]} 时出错: {e}) results.append({ id: row[id], question: row[question], answer: fERROR: {str(e)} }) # 保存结果 result_df pd.DataFrame(results) result_df.to_csv(output_csv_path, indexFalse, encodingutf-8-sig) print(f批量处理完成结果已保存至 {output_csv_path}) # 使用示例 if __name__ __main__: process_batch(./data/questions.csv, ./data/answers.csv)批量任务优化建议连接池如果通过HTTP调用本地模型使用requests.Session保持连接。异步处理使用asyncio和aiohttp提高并发处理能力。失败重试为每个任务添加重试逻辑和指数退避。结果缓存对于相同或相似的问题可以缓存答案避免重复计算。7. 资源占用与性能观察理解系统的资源消耗和性能瓶颈对于实际部署至关重要。1. 显存与内存占用小模型加载一个7B参数的模型以FP16精度加载约占用14GB GPU显存。使用量化技术如GPTQ, AWQ可将显存降至6-8GB。纯CPU推理则主要占用内存。记忆库加载向量索引FAISS常驻内存大小取决于记忆条数和向量维度。例如1万条384维的向量约占用10000 * 384 * 4 bytes ≈ 15 MB。原始文本数据存储为JSON或数据库占用磁盘和部分内存。编码器Sentence Transformerall-MiniLM-L6-v2模型加载后约占用200MB内存。峰值内存在同时进行编码、检索和模型推理时总内存/显存占用是各部分之和。建议使用nvidia-smi(GPU) 或htop(CPU) 监控。2. 延迟分析单次查询一次查询的延迟主要来自三个部分记忆检索时间包括查询编码~10-50ms和向量搜索~1-10ms取决于索引大小。总计通常在100ms以内。提示词构造时间可忽略不计。小模型生成时间这是主要瓶颈。取决于模型大小、生成长度和硬件。在RTX 4060上7B模型生成100个token可能需要2-5秒。CPU下可能需10-30秒。结论记忆检索引入的额外开销很小约增加5%-10%的延迟但可能带来显著的答案质量提升性价比很高。3. 性能优化建议记忆库剪枝定期清理无效、过时或低质量的记忆条目。向量索引优化对于超大规模记忆库100万条使用FAISS的IVF、HNSW等索引加速检索。模型量化对本地小模型进行4-bit或8-bit量化能大幅降低显存和加速推理。缓存层对频繁出现的查询及其答案进行缓存。异步检索在Agent思考的同时可以异步预检索可能相关的记忆。8. 常见问题与排查方法问题现象可能原因排查方式解决方案记忆检索不到相关内容1. 记忆库构建的领域与查询不匹配。2. 查询编码方式与记忆编码方式不一致。3. 向量相似度阈值设置过高。1. 检查记忆库内容。2. 打印检索到的记忆和相似度分数。3. 尝试用更简单的查询测试。1. 扩充或调整记忆库的领域。2. 确保构建和检索使用相同的编码器模型。3. 调整top_k参数或降低相似度阈值。本地小模型服务连接失败1. Ollama/vLLM服务未启动。2. 端口号或IP地址配置错误。3. 模型名称错误。1. 检查服务进程 ps auxgrep ollama。br2. 用curl http://localhost:11434/api/tags测试Ollama。br3. 检查client 初始化参数。大模型API调用失败记忆构建阶段1. API密钥无效或过期。2. 网络问题。3. 请求速率超限。1. 检查密钥和环境变量。2. 使用curl测试OpenAI API连通性。3. 查看API返回的错误信息。1. 更新API密钥。2. 配置网络代理或检查防火墙。3. 降低请求频率或升级API套餐。回答质量没有提升甚至下降1. 检索到的记忆不相关干扰了模型。2. 提示词模板设计不佳模型无法有效利用记忆。3. 记忆本身质量差大模型生成时出错。1. 分析retrieved_memories日志。2. 尝试不同的提示词模板。3. 人工检查记忆库中相关条目的质量。1. 优化记忆检索策略如重排序。2. 设计更清晰的提示词让模型学会“忽略”不相关记忆。3. 清洗或重新生成低质量记忆。程序报错ModuleNotFoundErrorPython依赖包未安装。检查错误信息中缺失的模块名。使用pip install安装缺失的包。确保在正确的虚拟环境中操作。FAISS索引加载失败索引文件路径错误或文件损坏。检查文件路径和权限。确认faiss.read_index的路径正确。如果文件损坏需要重新运行build_memory.py。9. 最佳实践与使用建议为了让这套记忆增强系统稳定、高效地运行请遵循以下建议1. 记忆库构建阶段种子问题要精准记忆库的质量取决于种子问题。问题应覆盖你希望Agent擅长的核心领域。控制记忆粒度每条记忆应围绕一个清晰的主题或子任务不要太长太杂。结构化JSON存储利于后续检索和利用。质量审核对大模型生成的记忆进行人工或自动化抽样审核剔除错误、模糊或有害的内容。版本管理对记忆库文件索引和元数据进行版本控制便于回滚和对比实验。2. Agent开发与调试阶段日志完备在retrieve_memory和generate_response函数中加入详细日志记录检索到的记忆、最终提示词、模型原始输出等。这对调试效果至关重要。A/B测试设计一个简单的框架可以方便地切换“基线模型”和“记忆增强模型”并收集相同测试集上的表现用数据证明价值。提示词工程精心设计结合记忆的提示词模板。可以尝试不同的指令如“请严格依据以下背景知识回答”、“以下知识仅供参考请谨慎甄别”等观察模型行为差异。3. 生产环境部署服务化与监控使用FastAPI或Flask将Agent封装为HTTP服务并添加健康检查、性能监控如请求延迟、错误率和日志收集。记忆库热更新设计一个机制可以在不重启服务的情况下更新记忆库例如定期检查并加载新的记忆索引文件。限流与降级为API服务设置限流防止被过度调用。当记忆检索服务异常时应有降级策略直接回退到原始小模型回答。安全与合规对用户输入进行必要的过滤和审查。如果记忆库包含敏感信息确保API访问有认证和授权机制。4. 成本控制记忆生成成本构建记忆库时的大模型API调用是主要成本。可以通过精心设计种子问题、利用模型缓存如GPT-3.5-Turbo来降低成本。推理成本本地小模型的运行成本主要是电力和硬件折旧。量化模型是降低成本的关键。10. 总结与下一步给小模型Agent注入大模型记忆是一条非常务实的技术路径。它不追求用一个模型解决所有问题而是通过“分工协作”让大模型负责昂贵的知识提炼和记忆构建让小模型负责廉价的实时推理和决策同时通过高效的检索机制将两者结合。本地实测下来对于知识密集型或规划型任务效果提升是立竿见影的。最值得尝试的点如果你手头有一个运行尚可但“知识量”和“规划力”不足的本地小模型Agent那么花上几个小时为它构建一个垂直领域的记忆库可能是性价比最高的升级方案。最先应该验证的功能从构建一个超小规模的记忆库比如10条你专业领域内的QA开始用一个明确的问题测试对比注入记忆前后的回答质量。这个快速验证能帮你立刻理解其价值。最容易踩的坑记忆污染检索到不相关或错误的记忆反而带偏了小模型。解决方案是优化检索如同时使用关键词和向量检索和提示词设计。提示词冲突如果提示词没写好小模型可能无法正确处理“记忆”和“自身知识”的关系。需要多调试提示词。系统复杂度引入记忆模块增加了系统的组件需要考虑检索延迟、记忆更新、版本一致性等工程问题。建议从简单开始逐步迭代。后续扩展方向动态记忆更新让Agent在运行中根据与用户的交互判断哪些新信息值得转化为长期记忆并自动更新记忆库。记忆融合与推理不仅仅是检索单条记忆而是让模型学会综合多条相关记忆进行推理。多模态记忆记忆库中不仅可以存储文本还可以存储图像、代码片段、结构化数据等构建更强大的多模态Agent。与RAG结合将记忆库与外部的知识库如公司文档、网络搜索检索RAG结合起来形成“短期工作记忆长期知识记忆外部世界信息”的三层架构。这套方法的代码和思路已经为你铺好剩下的就是结合你的具体场景构建属于你那个领域的“记忆外挂”。建议收藏本文在搭建过程中遇到具体问题时再回来查阅对应的排查章节。