Google Agent白皮书深度解析生成式AI Agent在人工智能飞速发展的今天我们已经习惯了与各种AI模型互动。但你是否想过如果AI不仅仅是生成文本或图片还能像人类一样根据目标自主思考、规划并调用各种“工具”来与真实世界互动那会是怎样一番景象这就是我们今天要深入探讨的——生成式AI Agent什么是AI Agent它为何如此强大想象一下人类在解决复杂问题时常常会借助外部工具如书籍、搜索引擎或计算机来补充知识或执行操作。生成式AI模型也类似它们可以被训练来使用工具以获取实时信息或执行真实世界的动作。AI Agent本质上是一个超越独立生成式AI模型能力的应用程序。它就像一个拥有“推理”、“逻辑”和“连接外部信息”能力的AI大脑。用最核心的定义来说一个生成式AI Agent是一种尝试通过观察世界并利用其可用的工具来采取行动以实现目标的应用程序。它们是自主的可以在没有人为干预的情况下独立行动尤其是在提供了适当的目标或目的时。即使没有明确的指令 Agent也能推断下一步该做什么以实现其最终目标。Agent的核心组成部分AI的“认知架构”要理解 Agent如何工作我们需要了解驱动其行为、行动和决策的三个基本组成部分它们共同构成了 Agent的“认知架构”1. 模型The Model• 这是Agent的“中央决策者”。通常是一个或多个大语言模型LLM它们能够遵循基于指令的推理和逻辑框架如ReAct、Chain-of-ThoughtCoT或Tree-of-ThoughtsToT。2. 工具The Tools• 工具是连接基础模型与外部世界的桥梁。尽管基础模型在文本和图像生成方面令人印象深刻但它们无法直接与外部世界互动。工具弥补了这一差距使 Agent能够访问外部数据和服务并执行超越底层模型自身能力的更广泛的动作。• 工具的形式和复杂性各异但通常与常见的Web API方法如GET、POST、PATCH、DELETE对齐。例如工具可以更新数据库中的客户信息或获取天气数据。• 通过工具 Agent能够访问和处理真实世界的信息从而支持更专业的系统如检索增强生成RAG。3. 编排层The Orchestration Layer• 编排层描述了一个循环过程它管理Agent如何获取信息、执行内部推理并利用这些推理来指导其下一步行动或决策。• 这个循环会一直持续直到Agent达到目标或停止点。它的复杂性因Agent和任务的不同而异可以包含简单的计算规则也可以涉及链式逻辑、额外的机器学习算法或概率推理技术。• 在Agent的认知架构核心中编排层负责维护记忆、状态、推理和规划。它利用快速发展的提示工程及其相关框架来指导推理和规划使Agent能够更有效地与环境互动并完成任务。Agent与模型的区别为了更清晰地理解我们可以对比一下Agent和模型Agent如何运作像大厨一样思考和行动想象一位忙碌的厨房大厨。他们的目标是为顾客制作美味菜肴这涉及规划、执行和调整的循环。• 1、大厨收集信息顾客订单、食材库存。• 2、他们进行内部推理根据现有信息能做什么菜。• 3、他们采取行动切菜、调料、烹饪。在这个过程中大厨会根据需要进行调整根据食材消耗或顾客反馈不断完善计划。AI Agent也正是如此它们通过迭代处理信息、做出明智决策并根据先前输出优化后续行动从而实现最终目标。常见的推理框架包括•ReAct一种提示工程框架提供给语言模型“思考并行动”的策略可以不带上下文示例。它在指导模型选择下一步行动和工具方面非常有效。•Chain-of-Thought (CoT)通过中间步骤实现推理能力。•Tree-of-Thoughts (ToT)适用于探索性或策略性前瞻任务它推广了CoT提示允许模型探索各种思想链作为问题解决的中间步骤。深入了解AI Agent的“工具箱”目前Google模型主要能与三种类型的工具互动Extensions扩展、Functions函数和Data Stores数据存储。1. Extensions扩展• 作用将API与 Agent以标准化方式连接起来让 Agent能够无缝执行API调用而无需自定义代码处理输入解析和错误处理。• 工作方式通过示例教导 Agent如何使用API端点以及调用API所需的参数。 Agent在运行时根据模型和示例动态选择最合适的扩展。• 执行位置 Agent端执行。这意味着 Agent直接控制与API端点的交互。• 用例需要 Agent控制API交互。2. Functions函数• 作用模型输出一个函数及其参数但不直接进行实时的API调用。实际的API调用逻辑和执行被分流到客户端应用程序。• 工作方式模型根据其规范决定何时使用哪个函数以及该函数需要哪些参数。这种方式为开发者提供了对数据流的更细粒度控制。• 执行位置客户端执行。• 用例API调用需要在应用堆栈的其他层进行如中间件、前端框架、安全或认证限制阻止 Agent直接调用API、时间或操作顺序限制如批量操作、人工审查、API响应需要额外的数据转换逻辑、或开发者希望在不部署额外基础设施的情况下进行 Agent开发。例如模型可以生成一个结构化的JSON负载客户端使用这些参数调用API并处理返回的数据。3. Data Stores数据存储• 作用为 Agent提供访问动态且最新信息的能力解决了语言模型知识静态化的挑战。• 工作方式允许开发者以原始格式如PDF、Word文档、CSV、电子表格、HTML、TXT、网站内容等提供额外数据而无需耗时的数据转换或模型重新训练。数据存储将文档转换为向量数据库嵌入 Agent可以从中提取所需信息。• 典型应用在检索增强生成RAG应用中用户查询被转换为嵌入与向量数据库中的内容匹配然后检索到的内容连同原始查询一起发送给 Agent以形成更准确的响应。• 执行位置 Agent端执行。• 用例开发者希望实现RAG使用网站内容、结构化数据、非结构化数据或各种数据库。通过定向学习提升模型性能为了让模型更好地选择和使用工具有几种“定向学习”方法• 上下文学习In-context learning在推理时向通用模型提供提示、工具和少量示例使其“即时”学习如何及何时使用这些工具。ReAct框架就是一个很好的例子。• 基于检索的上下文学习Retrieval-based in-context learning通过从外部记忆中检索最相关的信息、工具和相关示例动态填充模型提示。例如Vertex AI扩展中的“Example Store”或前面提到的RAG架构。• 基于微调的学习Fine-tuning based learning在推理之前使用大量特定示例数据集来训练模型。这帮助模型在接收任何用户查询之前就能理解何时以及如何应用某些工具。这些方法各有优劣但通过在Agent框架中结合使用可以发挥各自的优势最大限度地减少劣势从而提供更强大和适应性强的解决方案。总结生成式AI Agent通过利用工具扩展了语言模型的能力使其能够访问实时信息、建议实际操作并自主规划和执行复杂任务。Agent的核心是编排层这是一个构建推理、规划、决策和指导行动的认知架构。ReAct、Chain-of-Thought和Tree-of-Thoughts等推理技术为编排层提供了框架使其能够获取信息、进行内部推理并生成明智的决策或响应。工具——如Extensions扩展、Functions函数和Data Stores数据存储——是Agent连接外部世界的关键使它们能够与外部系统交互并访问其训练数据之外的知识。AI Agent的未来充满令人兴奋的进步。随着工具变得更复杂推理能力得到增强Agent将有能力解决日益复杂的问题。此外“Agent链”的战略方法将继续获得发展势头通过结合专业Agent我们可以创建“Agent专家混合体”方法在各个行业和问题领域提供卓越的结果。构建复杂的Agent架构需要迭代方法。实验和完善是找到特定业务场景和组织需求的解决方案的关键。通过利用这些基础组件的优势我们可以创建有影响力的应用程序扩展语言模型的能力并实现实际价值。有需要完整报告全套AI大模型学习资料的朋友可以扫描下方二维码免费领取