主流 AI 智能体Agent纵向分层技术栈自底向上 8 层完整体系整体分层逻辑硬件算力底座 → 模型运行层 → 记忆 / 数据底座 → Agent 通信协议层 → 智能体编排框架层 → 低代码 / LLMOps 平台层 → 能力插件 / 工具层 → 终端行业应用层每层附带主流技术、开源 / 商业产品、定位说明。第 1 层硬件与算力基础设施层物理底座作用提供模型训练、推理、智能体循环执行的算力、存储、网络资源芯片硬件国外 GPUNVIDIA A100/H100/H200、AMD MI 系列、Groq TPU国产 AI 芯片华为昇腾 Ascend、寒武纪思元、壁仞、沐曦、平头哥玄铁边缘端瑞芯微、地平线、Llama.cpp 适配 CPU/NPU底层编译 / 驱动栈NVIDIACUDA、cuBLAS、TensorRT-LLM国产Ascend C、HGAI、BangC、MUSA云算力与容器调度公有云AWS、Azure OpenAI、阿里云 PAI、腾讯云 TI、ModelScope容器编排Docker、K8s、Nomad、Helm算力托管CoreWeave、RunPod、Paperspace存储基础设施对象存储 S3、NAS、本地 SSD 集群第 2 层大模型基座 推理加速层智能体大脑作用提供推理核心能力是 Agent 思考、规划、工具调用的底层引擎闭源商用基座模型OpenAI GPT-4o/Agent SDK、Anthropic Claude 3、Google Gemini、文心 4.0、通义千问、DeepSeek 商用版开源基座模型Llama3、Mistral、Qwen 通义开源、DeepSeek 开源、GLM、Yi、MiniMax推理加速引擎本地 / 私有部署必备vLLM高并发首选、TensorRT-LLM、Text Generation Inference (TGI)、Ollama本地一键部署、Llama.cpp轻量化 CPU 推理模型统一网关多模型路由One-API、New-API、OpenAI Compatible Gateway、ModelScope 网关第 3 层记忆、向量与数据底座层Agent 长期记忆 / RAG作用突破上下文窗口提供短期对话记忆、长期知识库、业务私有数据检索向量数据库RAG 核心云托管Pinecone、Zilliz Cloud开源私有化Milvus、Weaviate、Qdrant、Chroma、FAISS记忆持久化存储Redis短期对话缓存、PostgreSQL、MongoDB、专用记忆库 MemGPT、LangMem数据处理 ETL 文档解析LlamaHub、Unstructured、PDFplumber、PyPDF、OCR 工具、数据库连接器SQL/Excel/API知识库流水线LlamaIndex 原生 RAG 流水线、Dify 知识库、LangChain Retrieval Chain第 4 层智能体通信与标准协议层多 Agent 互通 / 工具规范作用定义 Agent 之间、Agent 与工具之间统一交互标准实现跨框架互通MCPModel Context Protocol行业主流标准化工具调用、上下文传递、插件交互Coze、Hermes、LangGraph 原生支持A2AAgent-to-Agent多智能体跨系统对话、任务分发协议FCP、OpenAI Tool Call 标准、Function Calling 通用规范API 网关Kong、APISIX统一 Agent 服务对外出口第 5 层代码级智能体编排框架层底层开发 SDK定位纯代码可编程底层框架面向开发者深度自定义智能体循环、状态、多智能体协作上层低代码平台均基于本层封装通用单 / 多 Agent 编排LangChain LangGraph全球生态第一LangChain链式调用、基础 Agent、Memory、Tools、RAG 组件LangGraph有状态图状态机支持循环、分支、复杂自主规划复杂智能体标准底座LlamaIndex检索优先RAG 垂直优化海量数据连接器知识库智能体首选多智能体Multi-Agent专用框架AutoGen微软多角色 Agent 对话、代码沙箱、分工协作数据分析 / 编程智能体标杆CrewAI企业任务拆解、多智能体分工调度、优先级管理MetaGPT软件工程多智能体团队模拟产品 / 开发 / 测试协作AgentScope阿里国产分布式 Actor 模型多智能体中文生态完善轻量化本地实验框架BabyAGI、AutoGPT、Griptape第 6 层低代码 / 零代码 LLMOps 智能体平台层可视化生产平台定位封装底层 LangChain/AutoGen提供 Web 可视化拖拽、工作流、RAG、多租户、一键发布面向业务 / 低代码开发国产开源私有化平台Dify企业级标杆可视化 Workflow、完整 RAG、模型管理、API 导出、监控私有化部署友好FastGPT、FlowUs AI、AgentScope 平台版云端 SaaS 零代码平台Coze 扣子字节插件市场极强、多独立 Agent、一键发布飞书 / 抖音 / 网页面向个人 / 自媒体 / 中小企业海外Make.com、Bubble AI、ChatGPT GPTs 平台微软生态平台Semantic Kernel、Azure Agent Studio第 7 层插件、工具与可观测运维层Agent 交互真实世界工具插件生态Agent 行动能力通用工具联网搜索SerpAPI/Tavily、代码解释器、文件读写、爬虫、数据库查询平台插件Coze 插件商店、Dify 工具库、OpenAI GPTs 插件标准化开发MCP 插件开发套件智能体可观测、评测、监控生产运维必备LangSmithLangChain 官方追踪、Langfuse、AgentOps、Braintrust、PrometheusGrafana安全护栏 / 内容治理输入输出校验、敏感词过滤、人机介入 (HITL)、权限鉴权、网易易盾 / 百度安全 API第 8 层终端 行业落地应用层最终交付产品通用 C 端智能体产品GPTs、Coze 机器人、豆包智能体、文心智能体、Cursor 代码智能体、Devin 软件工程师企业垂直行业数字员工办公客服 Agent、财务对账 Agent、市场调研 DeepResearch 智能体工业设备巡检 Agent、产线数据分析智能体研发代码 AgentCursor、Windsurf、Aider、需求分析多智能体团队政企公文撰写、政策检索、数据合规智能体嵌入式 / 硬件端具身智能体机器人 ROS2 Agent、车载座舱智能体、边缘本地离线数字员工Hermes主流产品层级归属对照表快速区分上下依赖关系表格产品 / 框架所属分层依赖下层技术核心定位NVIDIA CUDA / 昇腾 C1 硬件驱动层芯片硬件底层算力编译vLLM / Ollama2 推理加速层算力底座大模型运行加速Milvus / Pinecone3 向量记忆层推理引擎RAG 长期记忆MCP 协议4 协议标准层向量 / 模型层Agent 统一交互规范LangGraph / AutoGen5 代码编排框架MCP、向量库、推理引擎底层可编程智能体内核Dify / Coze6 低代码平台LangChain/LangGraph可视化封装上层平台LangSmith / Coze 插件7 工具运维层编排框架工具生态、监控Cursor / 企业数字员工8 行业应用层全栈下层能力面向用户最终产品分层叠加数据流逻辑完整运行链路算力硬件 → 推理引擎加载 LLM 基座 → 智能体框架 (LangGraph) 读取向量库长期记忆 → 遵循 MCP 协议调用插件工具 → 低代码平台封装工作流 → 可观测系统记录全流程日志 → 输出终端行业智能体应用 所有复杂多智能体系统均严格遵循自下而上分层依赖上层平台无法脱离底层框架与算力独立运行。