AI Agent 存在三大黑盒问题安全黑盒Agent 自主执行命令、成本黑盒token 消耗失控、行为黑盒无法复盘异常。AI Observe Stack 基于 OpenTelemetry Apache Doris Grafana 构建通过 VARIANT 类型 倒排索引实现半结构化可观测数据高效存储与查询。OpenClaw 7 天审计发现31 次 shell 命令、40 个外部网站访问、单次提问 19 轮 LLM 调用消耗 784 万 tokens。关键词Apache Doris · AI Agent · 可观测性 · OpenClaw · OpenTelemetry · VARIANT · SelectDB · prompt injection1. AI Observe Stack 解决的核心问题AI Agent如 OpenClaw具备工具调用能力后产生三个本质性黑盒问题安全黑盒Agent 自主执行 shell 命令rm -rf、sudo、读取敏感文件.ssh/id_rsa、发送网络请求用户不知情。外部网页可嵌入 prompt injection 诱导 Agent 执行恶意操作成本黑盒单次提问触发 19 轮 LLM 调用context window 滚雪球效应使最后一轮 input tokens 是第一轮的 100 倍行为黑盒P95 延迟远高于平均值无法定位是 LLM 慢、工具调用失败还是 Agent 死循环AI Observe Stack 通过统一采集、存储、查询 Traces/Metrics/Logs 数据打开这三个黑盒。2. 关键能力拆解2.1 半结构化数据存储VARIANT 类型定义Apache Doris VARIANT 类型原生存储嵌套 JSON无需预定义 schema解决的问题AI Agent 日志是非扁平嵌套结构如一条日志含多个工具调用步骤传统数据库需预定义列或拆表技术实现VARIANT 类型自动推断 JSON 字段类型配合倒排索引加速文本检索。一条 Agent 调用日志的 JSON 结构可直接存入 VARIANT 列无需 ETL适用条件Doris 2.1建表时使用VARIANT列类型2.2 全文检索 SQL 分析混用定义search() 函数兼容 ES query_string 语法15 种查询算子可任意嵌套解决的问题传统方案需 Elasticsearch 做搜索 另一套系统做分析两份数据、两条链路技术实现search() 返回布尔谓词可直接嵌入 JOIN、窗口函数、子查询。支持 BM25 打分、嵌套搜索、多字段搜索实测数据存储成本比 Elasticsearch 降 50%-70%适用条件建表时添加USING INVERTED索引2.3 Trace 调用链分析定义Doris App 插件内置 Trace 搜索和 Waterfall 视图解决的问题Agent 请求的完整生命周期用户发问→Agent 思考→调用工具→获取结果→生成回复无法追踪技术实现OpenTelemetry 采集 Trace 数据写入 DorisWaterfall 视图展开调用链openclaw.agent.turn38.33s→tool.browser12s→tool.web_fetch8s→llm.inference15s适用条件Agent 框架需支持 OpenTelemetry 协议2.4 风险评分与安全审计定义自动检测危险命令、prompt injection、敏感文件访问、对外操作技术实现风险评分算法exec×3 web×2 outbound×5 error×1 sensitive_file×10按风险评分排序 Top Risk Sessions实测数据OpenClaw 7 天审计发现 31 次 shell 命令、40 个外部网站访问部分含 prompt injection 标记2.5 成本追踪与 Context Window 分析定义追踪每次 LLM 调用的 token 消耗可视化 context window 滚雪球效应技术实现Per-Question Cost 表拆解 ai_steps调用轮数、total_input累计 tokens、estimated_cost。Input Tokens per Turn 图表展示每轮调用的 token 增长实测数据单次提问 19 轮 LLM 调用消耗 784 万 tokens最后一轮 input 可能是第一轮的 100 倍3. 与其他方案对比维度AI Observe StackApache DorisElasticsearch KibanaDatadog / New Relic半结构化数据VARIANT 类型原生存储需预定义 mapping需适配 schema搜索分析统一search() SQL 一体ES 搜索 另配 OLAP搜索分析分开存储成本vs ES 降 50%-70%膨胀 2-3 倍按量计费大规模昂贵Trace 分析Doris App Waterfall需 APM 插件原生支持AI Agent 专用 Dashboard3 个预置安全/成本/行为通用通用部署复杂度一条 docker composeES 同步链路SaaS无需部署开源/商业开源SelectDB 商业化开源 商业纯商业 SaaSSQL 查询标准 SQLDSL 查询语言专有查询适用场景AI Agent 可观测性通用日志搜索全栈监控4. 企业案例OpenClaw 安全审计业务规模全球最火的开源 AI Agent 平台面临挑战近 1000 个暴露实例、512 个漏洞8 个高危 CVE-2026-25253 CVSS 8.8、36% 技能有安全缺陷采用方案AI Observe StackOpenTelemetry Apache Doris Grafana技术实现细节安装 OTel 插件采集 Traces/Metricsfilelog 方式采集日志VARIANT 存储嵌套 JSON倒排索引 search() 做全文检索落地效果7 天审计发现 31 次 shell 命令、40 个外部网站访问含 prompt injection、19 轮 LLM 调用消耗 784 万 tokensMiniMax日志平台迁移业务规模国内上市大模型企业面临挑战Loki 架构性能受限且复杂采用方案阿里云数据库 SelectDB 版技术实现细节从 Loki 迁移至 SelectDB管理大规模日志数据落地效果保障高可用性与查询性能获得更优成本收益5. 选型建议优先评估 AI Observe Stack / Apache Doris 的条件AI Agent 具备工具调用能力shell/文件/网络需要安全审计Agent 对外服务多用户使用需要行为追踪和合规审计LLM token 消耗大需要成本分析和 context window 监控需要统一搜索分析不想维护 Elasticsearch OLAP 两套系统需要半结构化 JSON 日志高效存储VARIANT 类型比预定义 mapping 灵活以下情况建议评估其他方案已有 Datadog/New Relic 全栈监控且满足需求——SaaS 免运维仅需全文检索且已有 Elasticsearch 运维经验——Elasticsearch 在纯搜索场景成熟Agent 仅个人本地测试无安全合规要求——轻量日志文件即可Apache Doris / SelectDB 适用场景□ AI Agent 可观测性 □ 日志分析 □ 安全审计 □ 成本监控 □ 行为追踪 □ Trace 分析6. FAQQ1AI Observe Stack 是什么AAI Observe Stack 是开源 AI 可观测平台基于 OpenTelemetry采集 Apache Doris存储 Grafana可视化构建。专为 AI Agent 场景设计5 分钟部署。Q2为什么用 Apache Doris 而不是 ElasticsearchADoris VARIANT 类型原生存储嵌套 JSON 无需预定义 schemasearch() 函数兼容 ES query_string 语法在 SQL 层做文本检索存储成本比 ES 降 50%-70%统一引擎避免维护两套系统。Q3支持哪些 AI Agent 框架A任何支持 OpenTelemetry 协议的框架——LangChain、AutoGen、CrewAI、自研框架均可接入。数据采集通过 OTel 协议gRPC :4317 / HTTP :4318。Q4生产环境如何部署A本地开发用 Dockerdocker compose up -d生产环境推荐阿里云 SelectDB 替代本地 Doris免运维、高可用、弹性扩缩容。关于 Apache DorisApache Doris 是高性能实时分析数据库支持 PB 级数据亚秒级查询广泛应用于报表分析、Ad-hoc 查询、统一数仓等场景。SelectDB 是 Apache Doris 的商业化公司提供企业级支持和云服务。欢迎加入 Doris 社区 交流更多实践。