版本2026-06-30主题主流 AI-Agent 框架、核心模块、架构差异与选型建议输出内容Markdown 技术报告 各框架对应架构图 PNG摘要AI-Agent 框架的核心价值不是“让大模型变聪明”而是把大模型放进一个可执行、可恢复、可观测、可治理的工程系统中。大多数 Agent 框架围绕以下问题展开如何把自然语言任务转化为多步执行流程如何让模型安全、稳定地调用外部工具如何保存和恢复 Agent 的状态、记忆和中间结果如何组织多个智能体协作如何对运行过程进行调试、监控、评估和部署。当前主流框架大致分为五类类型代表框架核心特点图/工作流编排型LangGraph、Microsoft Agent Framework、Google ADK、Haystack显式控制流、状态管理、分支循环、长流程恢复多 Agent 协作型AutoGen、CrewAI、Microsoft Agent Framework角色分工、群聊、handoff、任务委派数据/RAG 增强型LlamaIndex、Haystack、Dify文档接入、索引检索、知识库、引用生成轻量代码执行型OpenAI Agents SDK、smolagents少量抽象、工具调用、代码动作、快速原型平台/生产治理型Dify、Agno、Microsoft Agent Framework可视化搭建、部署、权限、观测、运行管理1. AI-Agent 框架的通用核心模块无论具体框架命名如何不同一个完整 AI-Agent 系统一般包含以下核心模块。模块作用常见实现模型接入层连接 LLM/VLM/Embedding/RerankerOpenAI、Azure OpenAI、Gemini、Claude、本地模型、LiteLLMAgent 定义层定义智能体角色、目标、指令、可用工具Agent、AssistantAgent、Crew Agent、FunctionAgent工具调用层将外部能力暴露给模型使用Function Call、Tool、Plugin、API、MCP、OpenAPI编排层控制任务执行顺序、分支、循环、并行、委派Graph、Workflow、Flow、Pipeline、Runner、Runtime状态与记忆层保存会话、变量、工具结果、长期偏好和历史经验State、Session、Memory、Checkpoint、Vector Store、DB知识增强层连接外部文档和知识库支持 RAGData Connector、Index、Retriever、Document Store、Knowledge Base多 Agent 通信层多角色协作、handoff、群聊、manager 分配任务Group Chat、Swarm、Crew、Team、Sub-agent安全治理层权限控制、输入输出校验、人工审批、防注入Guardrails、Human-in-the-loop、RBAC、Policy、Filters观测评估层记录运行轨迹、调试、回放、指标评估Tracing、Logging、LangSmith、Telemetry、Eval、Dashboard部署运行层API 化、服务化、扩缩容、任务调度Cloud Run、Azure/Foundry、Docker、FastAPI、Serverless图 1通用 AI-Agent 框架图2. 主流框架概览2.1 LangGraph / LangChainLangGraph 是 LangChain 生态中的低层 Agent 编排框架官方将其定位为用于构建、管理和部署长时间运行、具备状态的 Agent 的低层编排框架。它的核心抽象是StateGraph通过状态、节点、边和检查点来表达 Agent 的执行过程。LangGraph 适合需要强控制流、可恢复执行、人类审批和复杂状态管理的生产系统。核心模块State保存消息、变量、工具结果和业务状态Nodes模型调用、工具执行、业务函数等执行单元Edges节点之间的固定或条件跳转关系Checkpointer持久化状态支持失败恢复和线程级记忆Memory短期工作记忆与长期持久记忆Human-in-the-loop运行中断、审批、状态检查与修改LangSmith调试、追踪、评估与运行监控。图 2LangGraph / LangChain 框架图适用场景复杂业务流程、长任务、需要回放/调试/审批的企业级 Agent。2.2 OpenAI Agents SDKOpenAI Agents SDK 以少量核心抽象构建 Agent 应用Agent、Tools、Handoffs、Guardrails 与 Tracing。官方文档将 Agent 描述为带有 instructions 和 tools 的 LLMhandoffs 支持把任务委派给其他 Agentguardrails 用于校验输入输出内置 tracing 能记录模型生成、工具调用、handoff 和自定义事件。核心模块Agent模型、指令和工具的组合Runner / Agent loop负责工具调用、结果回填和循环执行Tools函数工具、托管工具和外部能力Handoffs / Agents as tools任务委派和专家 Agent 协作Guardrails输入输出校验与安全约束Tracing开发与生产环境的运行轨迹记录。图 3OpenAI Agents SDK 框架图适用场景OpenAI 生态内快速构建工具调用、多 Agent 委派和可观测 Agent 应用。2.3 Microsoft Agent FrameworkMicrosoft Agent Framework 是 Microsoft 推出的新一代 Agent 框架。官方文档将其描述为 Semantic Kernel 与 AutoGen 的下一代整合框架融合 AutoGen 的单 Agent/多 Agent 抽象与 Semantic Kernel 的企业级能力如会话状态、类型安全、过滤器、遥测、模型与 embedding 支持。它还提供多种内置编排模式包括 sequential、concurrent、handoff、group chat 和 magentic。核心模块Agents单智能体、专家智能体、多智能体Workflows类型安全的工作流控制Orchestrations顺序、并发、handoff、群聊、Magentic 管理模式State / Sessions长流程状态管理和恢复Tools / PluginsOpenAPI、MCP、A2A、业务函数Telemetry追踪、日志、指标和审计Human-in-the-loop人工审批和状态干预Deployment本地、Azure、Foundry 等企业部署方式。图 4Microsoft Agent Framework 框架图适用场景微软生态、企业级多 Agent 编排、.NET/Python 双栈、生产部署与合规治理。2.4 AutoGenAutoGen 是 Microsoft Research 推出的多 Agent 编程框架核心思想是通过多个可对话 Agent 协作解决任务。AutoGen AgentChat 提供多种预设 AgentAssistantAgent 使用语言模型并能够调用工具Core API 支持事件驱动、pub-sub、group chat 和 handoff 等模式。需要注意的是Microsoft 目前已将新功能重点转向 Microsoft Agent Framework新项目建议优先评估 Agent Framework。核心模块AgentsAssistantAgent、自定义 Agent、人类 AgentMessages / EventsAgent 之间交换的消息与事件Runtime单线程或分布式运行时ToolsFunctionTool、外部函数、工具结果Group Chat多个 Agent 共享话题Manager 选择下一位发言者Handoffs通过特殊工具调用把任务委派给其他 AgentTermination停止条件、回合限制、人工中止Memory / RAG / Tracing用于复杂任务的状态和观测扩展。图 5AutoGen 框架图适用场景学习多 Agent 设计模式、研究型原型、群聊式协作与 handoff 场景。2.5 Semantic KernelSemantic Kernel 是 Microsoft 的模型无关 SDK用于把大模型与企业代码、插件函数、数据和业务流程连接起来。它的核心是 Kernel负责协调模型连接器、插件函数、记忆、规划器与 Agent。随着 Microsoft Agent Framework 推进Semantic Kernel 的许多能力正在向统一 Agent Framework 迁移。核心模块Kernel连接模型、插件、上下文与业务代码Plugins / Functions将企业函数暴露给 AI 调用Connectors连接 OpenAI、Azure OpenAI、Hugging Face 等模型Planner / Function Calling选择和组合函数完成多步任务Memory语义检索、向量存储和 embeddingFilters / Middleware权限、安全和调用前后处理Telemetry日志、追踪和企业级监控。图 6Semantic Kernel 框架图适用场景已有大量企业函数和 .NET/Python/Java 应用希望把业务能力插件化给 Agent 使用。2.6 CrewAICrewAI 以“角色 任务 团队 流程”为核心适合把任务拆成多个专业 Agent 协同完成。官方文档强调其支持 agents、crews、flows并内置 guardrails、memory、knowledge 和 observability。核心模块Agents角色、目标、背景、可用工具Tasks任务描述、期望输出、上下文依赖Crews多个 Agent 组成的协作团队Flows事件驱动流程、条件分支、业务自动化Process顺序、层级等执行策略Tools搜索、文件、API、自定义工具Knowledge / Memory知识源、RAG、短期/长期记忆Guardrails / Observability输出约束、日志和监控。图 7CrewAI 框架图适用场景研究员-写手-审校员、销售-客服-分析师等角色分工明确的多 Agent 自动化。2.7 LlamaIndex Agent / WorkflowLlamaIndex 最初以数据连接、索引和 RAG 能力见长现在也提供 Agent 和 Workflow 能力。官方文档说明开发者可以使用预构建 agent/tool 快速搭建也可以用 Workflows 构建自定义 agentic workflowWorkflow 是事件驱动编排基础常见核心包括 steps、events 和 context。核心模块Data Connectors接入文件、数据库、网页和 SaaS 数据Indexes向量、关键词、树、图等索引Retrievers / Query Engines检索、重排、问答和引用ToolsFunctionTool、QueryEngineTool、外部 APIAgentsFunctionAgent、ReAct、工具调用 AgentWorkflowsSteps、Events、Context 的事件驱动编排Memory会话历史和记忆组件LlamaParse复杂 PDF、OCR、表格和图表解析。图 8LlamaIndex Agent / Workflow 框架图适用场景企业知识库、文档问答、研究报告、复杂文档解析和知识密集型 Agent。2.8 Google Agent Development KitADKGoogle ADK 是 Google/Gemini 生态中的开源 Agent 开发框架。官方文档将其定位为可构建、调试和部署企业级可靠 Agent 的框架可从 agents 和 tools 起步并扩展到多 Agent、图工作流、评估和部署。Google 的长流程 Agent 示例强调持久会话、显式状态机、event-driven resumption 和 multi-agent delegation。核心模块Agents / Sub-agents根 Agent 与专业子 AgentTools函数工具、Google 服务和外部 APISessions / State持久会话、状态变量、检查点Callbacks / Eventswebhook、外部事件和恢复机制Multi-agent专业子 Agent 委派Workflow / Graph状态机、暂停恢复、长流程Evaluationgolden eval、模拟延迟、回归测试DeploymentCLI、本地、Cloud Run、Gemini Enterprise 等。图 9Google ADK 框架图适用场景Google Cloud/Gemini 生态、事件驱动企业流程、需要长时间暂停与恢复的 Agent。2.9 HaystackHaystack 是 deepset 的开源 AI 编排框架核心基础是 components、pipelines、document stores、agents、tools 和 integrations。Haystack 的 Agent 组件是 loop-based 系统会用 chat LLM 与外部工具迭代解决复杂问题它支持动态工具选择、runtime state schema、streaming 和 exit conditions。核心模块ComponentsRetriever、Ranker、Generator、PromptBuilderPipelines显式组合组件支持复杂数据流Document Stores文档索引、向量库、BM25Agent ComponentLLM tools 迭代循环Tools / ToolsetsTool、PipelineTool、MCPTool、SearchableToolsetState Schema运行时状态读写和验证Prompt BuildersJinja2 模板与变量控制Monitoring / Eval追踪、日志、评估和生产观测。图 10Haystack Agent / Pipeline 框架图适用场景RAG 工程、检索问答、生产级搜索系统和透明可控的组件化流程。2.10 Hugging Face smolagentssmolagents 是 Hugging Face 的轻量 Agent 库目标是用少量抽象快速构建可运行 Agent。其重要特点是 CodeAgent默认让 Agent 生成 Python 工具调用作为动作表达这种方式比纯 JSON action 更适合表达变量复用和复杂操作但也更依赖安全执行环境。核心模块CodeAgent / ToolCallingAgent代码动作型或工具调用型 AgentModelHF Inference、本地模型、OpenAI/LiteLLM 等ToolsPython 函数、搜索工具、自定义工具Executor / Sandbox执行模型生成的 Python 动作Managed Agents子 Agent 封装Memory / Logs步骤历史、观察结果和运行记录Safety工具白名单、导入限制和执行权限。图 11Hugging Face smolagents 框架图适用场景教学、原型、轻量工具调用、代码动作型 Agent。2.11 DifyDify 是面向团队的 Agentic Workflow 与 LLM 应用平台提供低代码可视化工作流、RAG 知识库、工具接入、模型管理、应用发布和运营监控。Dify 的 Agent Node 可以作为 workflow 中的“自主推理”节点根据策略选择工具和行动。核心模块App / Workflow Canvas可视化搭建 Chatbot、Agent、WorkflowAgent Node自主推理、工具选择、Agent StrategyModel Providers多模型接入Knowledge Base文档导入、切分、embedding、检索Tools / API内置工具、自定义工具、HTTP 请求Variables / Control Flow变量、条件分支、循环、节点编排Memory会话历史和上下文窗口Deployment / MonitoringAPI 发布、Web App、日志、标注和运营指标。图 12Dify Agentic Workflow 框架图适用场景低代码业务落地、非工程人员参与搭建、快速发布 RAG/Agent 应用。2.12 AgnoAgno 更偏向 Agent 平台运行层强调把 Agent 作为可管理的生产服务运行提供 sessions、memory、knowledge、traces、scheduling、RBAC、API 和控制台。它可以和不同 Agent 框架结合帮助团队管理运行、权限和可观测性。核心模块Agents单 Agent、多 Agent 或接入其他框架Runtime / AgentOS运行、部署和管理 Agent 服务Tools / Toolkits内置工具包与自定义业务工具Sessions会话隔离、状态和运行历史Memory / Knowledge长期记忆、知识库、检索Traces结构化运行追踪Scheduling后台任务和周期任务RBAC / Human Review权限、人审和数据控制API / UIOpenAPI、SSE、控制台管理。图 13Agno 框架图适用场景已有 Agent 需要生产化托管、统一 API、权限控制、追踪和调度。3. 核心模块对比表框架主要定位编排方式多 Agent记忆/状态RAG/知识工具调用观测评估典型优势LangGraph状态图编排Graph / StateGraph强强可集成强LangSmith 强可恢复、可调试、适合复杂控制流OpenAI Agents SDK轻量 Agent SDKRunner / Agent loopHandoff应用侧管理可集成强内置 tracing抽象少上手快OpenAI 生态顺滑Microsoft Agent Framework企业级多 Agent 与工作流Workflow / Orchestration很强强强强强统一 SK/AutoGen适合 Azure/.NET/PythonAutoGen多 Agent 会话协作Runtime / Group Chat很强中-强可集成强中-强多 Agent 研究与群聊协作成熟Semantic Kernel模型与企业函数编排Kernel / Planner中-强中-强中-强很强强插件化企业代码适合 .NET/AzureCrewAI角色任务型多 AgentCrew / Flow很强中-强强强中-强角色、任务、团队建模自然LlamaIndex数据/RAG AgentWorkflow / Event中-强中很强强中-强文档、索引、检索和知识 Agent 强Google ADKGoogle 生态 Agent 开发部署Sessions / Workflow / Graph强强可集成强强长流程、持久会话、Gemini/Google Cloud 生态HaystackRAG Pipeline AgentPipeline / Agent loop中中很强强中组件透明、检索工程能力强smolagents轻量代码动作 AgentCode action loop中基础可集成强基础极简、代码动作表达力强Dify低代码 Agentic Workflow 平台可视化工作流中中强强强低代码、知识库、部署快AgnoAgent 生产运行平台Runtime / AgentOS强强强强强会话、记忆、权限、追踪、调度生产化4. 选型建议4.1 按任务复杂度选型场景推荐框架快速做一个带工具调用的 AgentOpenAI Agents SDK、smolagents复杂状态机、审批、恢复、长流程LangGraph、Microsoft Agent Framework、Google ADK多角色协作、研究员/写手/审校员分工CrewAI、AutoGen、Microsoft Agent Framework企业知识库、PDF/文档问答、RAG 报告LlamaIndex、Haystack、Dify微软生态、.NET、Azure、企业合规Microsoft Agent Framework、Semantic KernelGoogle Cloud / Gemini 生态Google ADK非工程团队低代码搭建应用Dify已有 Agent 需要生产治理层Agno、Microsoft Agent Framework、Dify4.2 按工程成熟度选型原型阶段优先 OpenAI Agents SDK、smolagents、CrewAI、Dify可控流程阶段优先 LangGraph、Haystack、LlamaIndex Workflows多 Agent 协作阶段优先 CrewAI、AutoGen、Microsoft Agent Framework生产部署阶段优先 Microsoft Agent Framework、LangGraph LangSmith、Google ADK、Agno、Dify知识密集应用阶段优先 LlamaIndex、Haystack、Dify。4.3 按核心技术路线选型技术路线说明推荐Graph-based Agent将控制流显式化适合复杂流程LangGraph、Microsoft Agent Framework、Google ADKConversation-based Multi-agent让多个 Agent 像团队会议一样协作AutoGen、CrewAI、Microsoft Agent FrameworkRAG-first Agent以知识库和文档检索为中心LlamaIndex、Haystack、DifyCode Agent让模型用代码表达动作smolagents、OpenAI Agents SDK Code Interpreter 类工具Low-code Agent可视化节点编排和部署DifyProduction Agent Platform会话、权限、追踪、运行治理Agno、Microsoft Agent Framework、Dify5. 主流框架的共同趋势5.1 从“单轮工具调用”走向“长流程状态机”早期 Agent 多是用户输入 → 模型思考 → 调工具 → 回答。现在生产 Agent 更强调显式状态、检查点、恢复、人工审批和事件驱动唤醒。5.2 从“聊天式 Agent”走向“Workflow Agent 混合”完全让模型自由行动容易失控因此越来越多框架采用混合模式固定流程由 workflow 控制不确定决策交给 Agent。5.3 从“单 Agent”走向“多 Agent 分工”复杂任务很难由一个大提示词完成常见做法是将研究、计划、执行、审查、客服、审批等角色拆成多个 Agent。5.4 从“只看最终答案”走向“全链路观测评估”Agent 的错误常发生在中间步骤例如工具选错、状态丢失、检索错误、审批绕过。因此 tracing、replay、evaluation 和 telemetry 正在成为标配。5.5 从“框架能力”走向“协议互通”MCP、A2A、OpenAPI 等协议让 Agent 能更标准化地连接工具、其他 Agent 和企业系统。6. 结论主流 AI-Agent 框架虽然命名和抽象不同但本质上都在解决同一组工程问题LLM 本身只负责语言理解和决策生成 Agent 框架负责把这种决策变成可执行、可恢复、可观测、可治理的系统。如果只做简单工具调用轻量 SDK 足够如果要做生产级 Agent必须关注状态管理、记忆、编排、权限、评估和部署。对于研究学习可以从 OpenAI Agents SDK、CrewAI、AutoGen、smolagents 入手对于企业生产建议重点评估 LangGraph、Microsoft Agent Framework、Google ADK、Haystack、LlamaIndex、Dify 和 Agno。参考资料OpenAI Agents SDK 官方文档 https://openai.github.io/openai-agents-python/OpenAI API Agents SDK 指南 https://developers.openai.com/api/docs/guides/agentsLangGraph GitHub / 官方说明 https://github.com/langchain-ai/langgraphMicrosoft Agent Framework 官方概览 https://learn.microsoft.com/en-us/agent-framework/overview/Microsoft Agent Framework Workflows https://learn.microsoft.com/en-us/agent-framework/workflows/AutoGen 官方文档 https://microsoft.github.io/autogen/stable/Semantic Kernel GitHub / 文档 https://github.com/microsoft/semantic-kernelCrewAI 官方文档 https://docs.crewai.com/LlamaIndex Agent 文档 https://developers.llamaindex.ai/python/framework/use_cases/agents/Google ADK 官方文档 https://docs.cloud.google.com/gemini-enterprise-agent-platform/build/adkHaystack 官方文档 https://docs.haystack.deepset.ai/docs/introHaystack Agent 组件文档 https://docs.haystack.deepset.ai/docs/agentHugging Face smolagents 文档 https://huggingface.co/docs/smolagents/en/indexDify 官方网站与 Agent Node 介绍 https://dify.ai/Agno 官方网站与 GitHub https://www.agno.com/