TencentDB Agent Memory数据格式详解JSONL与Markdown在记忆存储中的应用【免费下载链接】TencentDB-Agent-MemoryTencentDB Agent Memory is a team-level memory hub for AI Agents — turning conversations, docs, and code into four reusable memory assets (Chat Memory, Skill, LLM-Wiki, Code-Graph) that are governed, shared, and equipped across agents and frameworks.项目地址: https://gitcode.com/GitHub_Trending/te/TencentDB-Agent-MemoryTencentDB Agent Memory作为团队级AI Agent记忆中枢通过将对话、文档和代码转化为四种可重用的记忆资产聊天记忆、技能、LLM-Wiki、代码图实现了跨Agent和框架的治理、共享与装备。其高效的记忆存储机制离不开JSONL与Markdown两种核心数据格式的巧妙应用本文将深入解析这两种格式在记忆存储中的具体应用场景与技术细节。记忆金字塔分层存储架构概览TencentDB Agent Memory采用分层存储架构将记忆分为L0到L3四个层级不同层级采用不同的数据格式进行存储与管理。如上图所示L0层为原始日志Raw Log采用JSONL格式存储L1层为原子记忆Atomic Memory同样使用JSONL格式L2层为场景块Scene Block则采用Markdown格式L3层为用户画像Persona也以Markdown格式存储。这种分层存储策略既保证了底层数据的完整性和可追溯性又实现了高层数据的高信息密度和易读性。JSONL轻量级高效日志存储格式JSONLJSON Lines是一种轻量级的数据格式它将每个JSON对象单独存储在一行中非常适合存储结构化的日志数据和时间序列数据。在TencentDB Agent Memory中JSONL主要用于L0原始对话日志和L1结构化记忆的存储。JSONL格式特点与优势简单易用JSONL格式采用一行一JSON对象的扁平结构易于读写和解析。如src/core/conversation/l0-recorder.ts中所述这种格式flat, easy to grep/stream非常适合日志数据的处理。高效追加JSONL支持高效的追加操作新的日志记录可以直接添加到文件末尾无需修改已有内容。这对于L0层的对话记录来说尤为重要因为对话是持续产生的流式数据。容错性强即使个别行的JSON格式有误也不会影响其他行的解析。系统会自动跳过格式错误的行如src/core/conversation/l0-recorder.ts中提到的Skipping malformed JSONL line机制。JSONL在L0原始对话日志中的应用L0层负责存储原始对话和事件流确保原始信息不丢失为后续的记忆提取提供证据基础。在src/core/conversation/l0-recorder.ts中详细实现了L0对话记录功能采用JSONL格式存储每条对话消息作为一个独立的JSON对象存储在一行中。这种设计使得对话数据可以被高效地追加、检索和处理。同时JSONL格式保留了完整的对话上下文包括消息发送者、时间戳、内容等关键信息为后续的L1层原子记忆提取提供了丰富的原始数据。JSONL在L1原子记忆中的应用L1层负责自动提取事实、偏好、约束和状态从原始对话中稳定地提取关键信息。L1层的结构化记忆同样采用JSONL格式存储如src/core/record/l1-writer.ts所述JSONL是append-only persistent store (source of truth for backup/recovery)。L1层的JSONL文件存储了经过提取和结构化的记忆记录每个记录包含实体、关系、属性等结构化信息。这种格式便于系统快速检索和匹配相关记忆为上层应用提供高效的记忆服务。Markdown人类可读的高层记忆格式Markdown是一种轻量级标记语言具有易读易写的特点非常适合创建结构化文档。在TencentDB Agent Memory中Markdown主要用于L2场景块和L3用户画像的存储实现了高层记忆的高信息密度和白盒可调。Markdown格式特点与优势人类可读性强Markdown格式的文档可以直接阅读无需特殊解析工具。这使得L2和L3层的记忆内容可以被开发者和用户直接查看和编辑实现了记忆的白盒可调。结构化表达能力Markdown支持标题、列表、表格、代码块等多种结构化元素可以清晰地组织复杂的场景信息和用户画像。兼容性好Markdown格式被广泛支持几乎所有的文档编辑工具和版本控制系统都能很好地处理Markdown文件便于记忆内容的共享和协作。Markdown在L2场景块中的应用L2层负责按项目、主题或工作流场景对记忆进行聚类带上下文召回减少单场误用。L2场景块采用Markdown格式存储如hermes-plugin/memory/memory_tencentdb/README.md中所述L2层是Scene blocks (Markdown under data dir)。在src/core/scene/scene-format.ts中实现了场景块文件格式的解析和格式化功能。每个场景块都是一个独立的Markdown文件包含场景描述、相关实体、关键事件等信息。这种结构化的表达方式使得场景信息可以被高效地组织和检索。Markdown在L3用户画像中的应用L3层负责构建稳定的用户偏好与服务方式画像让Agent按用户习惯协作。L3用户画像同样采用Markdown格式存储如src/core/prompts/persona-generation.ts中所述需要Keep Markdown syntax, file namepersona.md, tool names, and structural markers in English.用户画像Markdown文件包含用户的基本信息、偏好设置、服务风格等内容采用清晰的章节结构组织。这种格式不仅便于Agent理解和应用用户偏好也方便开发者和用户直接编辑和调整画像内容。JSONL与Markdown的协同应用JSONL和Markdown在TencentDB Agent Memory中并非孤立使用而是形成了协同互补的存储体系。底层的JSONL格式保证了数据的完整性和高效处理高层的Markdown格式则实现了信息的结构化和易读性。数据流转与格式转换记忆数据在不同层级之间流转时会进行相应的格式转换。例如L0层的JSONL原始对话经过提取处理后会生成L1层的JSONL结构化记忆L1层的JSONL记忆经过场景聚类后会生成L2层的Markdown场景块。这种数据流转过程实现了记忆的逐步结构化和抽象化。优势互补JSONL和Markdown的协同应用充分发挥了两种格式的优势JSONL的高效性适合存储大量结构化数据支持快速追加和检索为系统提供高效的底层数据支撑。Markdown的可读性适合存储高层抽象信息支持结构化表达为用户和开发者提供直观的记忆内容展示和编辑方式。这种异构存储策略如README.md中所述实现了Lower layers preserve evidence; upper layers preserve structure.低层保留证据高层保留结构的设计理念。总结JSONL和Markdown作为TencentDB Agent Memory的核心数据格式在记忆存储中发挥了关键作用。JSONL以其简单高效的特点为底层原始日志和结构化记忆提供了理想的存储方案Markdown则以其良好的可读性和结构化表达能力成为高层场景块和用户画像的首选格式。两种格式的协同应用构建了一个既高效又灵活的记忆存储体系为TencentDB Agent Memory实现跨Agent和框架的记忆共享与装备奠定了坚实的数据基础。通过这种分层异构的存储策略TencentDB Agent Memory实现了记忆的全量可追溯、高效检索和灵活调整为AI Agent的智能化提供了强大的记忆支撑。【免费下载链接】TencentDB-Agent-MemoryTencentDB Agent Memory is a team-level memory hub for AI Agents — turning conversations, docs, and code into four reusable memory assets (Chat Memory, Skill, LLM-Wiki, Code-Graph) that are governed, shared, and equipped across agents and frameworks.项目地址: https://gitcode.com/GitHub_Trending/te/TencentDB-Agent-Memory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考