普通接口大多是一次请求,一次返回。Agent 更像一个循环:接收目标;调用模型;判断下一步;执行工具;读取结果;再次调用模型;继续推进或停止。因此,Agent 应用要观测的不是一个

📅 2026/6/29 18:30:16
普通接口大多是一次请求,一次返回。Agent 更像一个循环:接收目标;调用模型;判断下一步;执行工具;读取结果;再次调用模型;继续推进或停止。因此,Agent 应用要观测的不是一个
因此Agent 应用要观测的不是一个 HTTP 状态码而是一条任务链路。EdgeOne Makers 的context.store提供会话级对话存储会根据conversation_id关联并支持多种 Agent 框架的消息对象。它的context.tracer则用于手动埋点可以和平台自动采集的 trace 串到同一条链路里。这类能力对生产环境很关键。Agent 出错时团队需要知道它看到了什么、做了什么、为什么继续往下走当时模型看到了什么上下文它调用了哪个工具工具返回了什么哪一步开始偏离目标是否需要重试、回滚或人工介入。Agent 进入平台化以后可观测性要从“看接口耗时和错误率”升级到“看任务过程和动作链路”。API 认证EdgeOne Makers 官方文档单独写了 Agent Authentication。文档明确提到如果没有登录认证任何人都可以直接访问 Agent API可能造成资源滥用也可能绕过前端页面直接请求/agents/*等接口。官方示例方案包括用 Cloud Functions 处理注册、登录、登出和当前用户查询登录后签发 JWTJWT 放到 HttpOnly Cookiemiddleware 在边缘节点提前拦截未认证请求Agent 入口里再做签名校验。这个方案不复杂但很必要。Agent API 被刷不只是流量问题还会消耗模型额度、沙箱资源、工具调用次数甚至可能触发外部系统动作。认证、限流、权限、审计都必须落到真实接口层。模型接入EdgeOne Makers 还有一个 Models 服务。官方文档说它是部署在 EdgeOne 边缘节点上的统一模型接入服务可以通过统一 endpoint 和一个 API Key 调用多个主流模型供应商。它支持的点包括统一 endpoint切模型时主要改model参数兼容 OpenAI SDK、Anthropic SDK、Vercel AI SDK也支持 cURL、fetch 这类 HTTP 调用支持托管供应商 Key调用时只带网关自己的 API Key有内置模型可直接使用适合 Demo 和技术验证支持 SSE 流式输出。官方示例里OpenAI JS SDK 可以这样接import OpenAI from openai; const client new OpenAI({ apiKey: process.env.MAKERS_MODELS_KEY, baseURL: https://ai-gateway.edgeone.link/v1, }); const completion await client.chat.completions.create({ model: makers/deepseek-v4-flash, messages: [{ role: user, content: What can you do? }], });这个能力适合平台内应用快速起步。开发者不用一开始就自己写模型适配层也不用把不同供应商的 Key 散落在业务代码里。但这里也要冷静看。和 Vercel AI Gateway、Cloudflare AI Gateway 这类平台能力类似平台内置模型网关的优点是集成顺滑缺点是 Provider 选择和路由策略通常会受平台产品节奏限制。真实团队里模型接入往往比“调用几个主流模型”复杂有公有云模型有海外模型有国内模型有自托管模型有内部私有模型有不同业务线自己的 API Key有按用户、项目、路线、供应商分开的预算和审计有 OpenAI、Anthropic、Gemini 多种协议并存还有供应商故障、额度耗尽、价格变化后的路由切换。这时仅靠某个平台自带的模型入口灵活性可能不够。如果你希望把模型接入层独立出来而不是完全绑定某个部署平台也可以单独使用我的开源AI网关OctaFuse GatewayGitHub - OctaFuse/octafuse-gateway: Octafuse Gateway 是一个开源 AI 网关提供 OpenAI / Anthropic / Gemini 兼容的推理 Proxy、简单易用的管理后台Next.js OpenNext支持 CloudflareD1或自托管Postgres/MySQL部署为团队统一实现多模型路由、预算计量、审计追踪与运维自动化。 · GitHub按照项目 READMEOctaFuse Gateway 是一个开源 AI 网关采用Proxy Admin Core结构提供 OpenAI / Anthropic / Gemini 兼容的推理 Proxy并支持 CloudflareD1或自托管Postgres/MySQL部署。它关注团队和组织内部的模型流量治理包括多协议入口OpenAI、Anthropic、Gemini 兼容接口Provider、模型、Route、Route Group 管理用户和 API Key 管理预算上限和周期重置请求日志、用户审计和可观测性供应商、模型、用户维度的用量分析