目录
- 1 说明
- 2 摘要
- 3 前言
- 4 正文（持续更新中）
1 说明
本系列博客为文章《Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems》中文翻译，感谢原作者们开源的精彩文章。本书描述了智能体的发展过程及未来展望，对普通大众了解和学习智能体有极大的参考价值。首先提出一个问题，什么是智能体？ 相信有很多人今天仍然不清楚这个概念。我们以前段时间爆火的DeepSeek和Manus来举例。DeepSeek是大模型，Manus是智能体。大模型就像大脑，智能体就是它的手和脚。大模型就像是发动机，智能体就像是车。智能体是大模型之上的产品，可以基于任意大模型，比如DeepSeek、通义千问、ChatGPT、Claude等等。这样一来就有个好处，基于不同大模型的智能体可以充分发挥大模型擅长的能力，通过多智能体之间的交互，产生化学反应，产生1+1远远大于2的效果。
由于作者水平有限，翻译过程中借助了AI，不对之处，敬请指正。
2 摘要
大语言模型（LLM）的兴起推动了人工智能领域的变革性转变，为构建具备复杂推理能力、强大感知能力以及跨多样领域通用行动能力的高级智能体铺平了道路。随着这些智能体日益推动人工智能研究与实际应用，它们的设计、评估及持续改进面临着错综复杂、多面向的挑战。本综述提供了一份全面的概述，介绍了从认知科学、神经科学和计算研究中获得启发的模块化、类脑智能体架构的发展情况。我们将探讨结构化为四个互相关联的部分：首先，我们深入探讨智能体的模块化基础，系统地将其认知、感知和行动模块与类似于人脑功能的结构类比，阐明核心组成部分，如记忆、世界建模、奖励处理和类情感系统。其次，我们讨论了自我强化与自适应进化机制，探讨智能体如何在动态环境中自主优化能力，持续地通过整合AutoML和LLM驱动的优化策略，自动化地改进自身性能。第三，我们审视了协作与进化型多智能体系统，研究从智能体互动中涌现出的集体智能、互动、协作与社会结构，凸显其与人类社会动态之间的相似性。最后，我们强调了构建安全、稳健和有益人工智能系统的重要性，重点关注内在和外在安全威胁、伦理一致性、鲁棒性和实际部署中必要的风险缓解策略。通过综合模块化人工智能架构和不同学科洞察，本综述识别了关键的研究差距、挑战与机遇，鼓励建立技术进步与社会效益相协调的AI系统。
3 前言
大语言模型（LLM）通过展示其在自然语言和多模态理解方面前所未有的能力，以及推理和生成方面的表现，已经彻底改变了人工智能（AI）。这些模型在大规模数据集上进行训练，表现出诸如推理、上下文学习、甚至基本规划等新兴能力。尽管这些模型代表了实现智能机器的重要一步，但它们自身尚未完全具备智能个体的所有能力。从人工智能的早期阶段起，研究人员就一直致力于寻求一种真正意义上的“智能”系统，这种系统能够学习、规划、推理、感知、交流、行动、记忆，并展示出多种类似人类的能力与灵活性。这些系统被称为智能体，应当具备长短期思考、执行复杂行动以及与人类和其他智能体互动的能力。LLM 是实现智能体的重要一步，但我们距离真正的智能体还有距离。
本手稿全面概述了基于LLM的智能体的最新研究现状。过去已有大量研究论文和书籍讨论智能体，以及大量书籍探讨LLM，但极少有全面讨论两者交叉领域的作品。虽然LLM可以实现智能体所需的大量基础能力，但这些能力仅构建了进一步功能开发所需的基础。例如，尽管LLM可以帮助生成旅行计划等简单规划，但它们无法生成完全复杂的专业任务规划，也不能在不出现幻觉（hallucination）的情况下保持长期记忆。此外，它们在物理世界中也无法自主执行现实行动。我们可以将LLM比作发动机，而智能体则是使用这些发动机建造的汽车、船只和飞机。从这一视角出发，我们自然寻求推进智能体设计与构建的下一步，以实现真正的智能个体。
在智能体与LLM互动的发动机-载具类比中，我们自然会提出以下问题：当前的LLM技术能提供多少智能体所需的能力？当前LLM技术无法实现哪些功能？除了LLM，还需要做什么才能建立完全智能化的、能在物理世界中自主行动并互动的智能体？要实现与人类有效协作并沟通的智能体，还有哪些额外的开发任务？LLM智能体在实现过程中存在哪些挑战？哪些领域是LLM智能体发展的低门槛机会？一旦我们实现完全智能化的LLM智能体，将会对社会产生什么影响？我们又该如何为此未来做好准备？
这些问题超越了当前LLM和智能体的工程实践，并指出了未来研究方向的重要性。为全面解决这些问题，我们召集了人工智能领域内不同方向的顶级研究人员，他们涵盖了从LLM开发到智能体设计等多个领域。本书共分为四个部分：
- 第一部分提出了对个体智能体能力的需求，将这些能力与人类的感知和行动能力进行对比。
- 第二部分探讨了智能体的演化能力及其对智能工具（如工作流管理系统）的影响。
- 第三部分讨论智能体的协作和集体行动能力，强调智能体的合作互动。
- 第四部分则讨论伦理和社会层面的内容，包括智能体安全性与责任问题。
本书适用于研究人员、学生、政策制定者和从业者。受众还包括对人工智能、LLM和智能体感兴趣的非AI领域读者，以及希望了解未来人类与人工智能共存社会的个人。读者群涵盖本科生、研究生、研究人员及行业从业者。本书不仅希望为读者提供对AI与智能体的疑问的解答，更希望激发读者提出新问题。最终，我们希望激励更多人加入我们，一起探索这一充满潜力的研究领域。
符号说明
在此我们为读者整理了全文中使用的符号，便于查阅。详细定义请参见对应章节。
| 符号 | 描述 | 引用章节 |
|---|---|---|
| W | 含社会系统（环境与智能存在，包括 AI 或人类）的世界 | 第1.3.1节 |
| S | 环境的状态空间 | 第1.3.1节 |
| sₜ ∈ S | 时刻 t 的环境状态 | 第1.3.1节 |
| O | 观测空间 | 第1.3.1节 |
| oₜ ∈ O | 时刻 t 的观测 | 第1.3.1节 |
| A | 智能体的动作空间 | 第1.3.1节 |
| aₜ ∈ A | 智能体在时刻 t 输出的动作 | 第1.3.1节 |
| M | 心理状态空间 | 第1.3.1节 |
| Mₜ ∈ M | 智能体在时刻 t 的心理状态 | 第1.3.1节 |
| Mₜᵐᵉᵐ | Mₜ 中的记忆组件 | 第1.3.1节 |
| Mₜʷᵐ | Mₜ 中的世界模型组件 | 第1.3.1节 |
| Mₜᵉᵐᵒ | Mₜ 中的情感组件 | 第1.3.1节 |
| Mₜᵍᵒᵃˡ | Mₜ 中的目标组件 | 第1.3.1节 |
| Mₜʳᵉʷ | Mₜ 中的奖励/学习信号 | 第1.3.1节 |
| L | 智能体的学习函数 | 第1.3.1节 |
| R | 智能体的推理函数 | 第1.3.1节 |
| C | 智能体的认知函数 | 第1.3.1节 |
| E | 动作执行（执行器） | 第1.3.1节 |
| T | 环境转换 | 第1.3.1节 |
| θ | 世界模型 Mₜʷᵐ 的参数 | 第12.1.1节 |
| P₍θ₎ | 预测的数据分布 | 第12.1.1节 |
| P₍w₎ | 真实世界的数据分布 | 第12.1.1节 |
| 𝒦 | 已知数据与信息的空间 | 第12.1.1节 |
| 𝒰 | 未知数据与信息的空间 | 第12.1.1节 |
| x | 表示科学知识的数据集 | 第12.1.1节 |
| xₖ | 从 𝒦 中采样的已知数据集 | 第12.1.1节 |
| xᵤ | 从 𝒰 中采样的未知数据集 | 第12.1.1节 |
| D₀ | 在 t=0 时刻从 P₍w₎ 到 P₍θ₎ 的 KL 散度 | 第12.1.1节 |
| Dₖ | 获取知识后从 P₍w₎ 到 P₍θ₎ 的 KL 散度 | 第12.1.1节 |
| IQₜᵃᵍᵉⁿᵗ | 智能体在时刻 t 的智能度 | 第12.1.1节 |
| Δ | 用于知识扩展的 𝒰 子空间 | 第12.1.2节 |
| x_Δ | 来自 Δ 的数据集 | 第12.1.2节 |
| Θ | 所有可能世界模型参数 θ 的空间 | 第12.1.3节 |
| θ*ₖ,ₜ | 在时刻 t 、基于智能体知识下的最优世界模型参数 | 第12.1.3节 |
| Dₖ,Θᵐⁱⁿ | 在给定智能体知识与 Θ 条件下的最小未知量 | 第12.1.3节 |
| x_{1:n} | 输入令牌序列 | 第18.1节 |
| y | 生成的输出序列 | 第18.1节 |
| p | 在给定 x_{1:n} 的情况下生成 y 的概率 | 第18.1.1节 |
| ẋ_{1:n} | 干扰后的输入序列 | 第18.1.1节 |
| ℛ* | 理想对齐奖励（衡量对安全/伦理准则的遵循程度） | 第18.1.1节 |
| y* | 由干扰引发的越狱输出 | 第18.1.1节 |
| 𝒜 | 一组安全/伦理准则 | 第18.1.1节 |
| 𝒯 | 可能的越狱指令的分布或集合 | 第18.1.1节 |
| Lᵃᵈᵛ | 越狱损失 | 第18.1.1节 |
| p | 注入到原始输入中的提示 | 第18.1.2节 |
| x′ | 合并（注入后）的输入序列 | 第18.1.2节 |
| Lᶦⁿʲᵉᶜᵗ | 提示注入损失 | 第18.1.2节 |
| p* | 优化后的注入提示，以最小化 Lᶦⁿʲᵉᶜᵗ | 第18.1.2节 |
| 𝒫 | 可行提示注入集合 | 第18.1.2节 |
| e_{xᵢ} ∈ ℝᵈₑ | 在 dₑ 维空间中，令牌 xᵢ 的嵌入 | 第18.1.3节 |
| W_Q, W_K, W_V | Query、Key、Value 的投影矩阵 | 第18.1.3节 |
| A_{ij} | 令牌 i 与 j 之间的注意力得分 | 第18.1.3节 |
| oᵢ | 令牌 i 的上下文表示（加权求和结果） | 第18.1.3节 |
| δ_{xᵢ} | 施加于 e_{xᵢ} 的干扰，满足 ‖δ_{xᵢ}‖ ≤ ε | 第18.1.3节 |
| ẽ_{xᵢ} | 干扰后的令牌嵌入 | 第18.1.3节 |
| A_{ij}^Δ | 干扰下的注意力得分 | 第18.1.3节 |
| ōᵢ | 干扰下更新的令牌表示 | 第18.1.3节 |
| ℋ | 幻觉度量（Hallucination metric） | 第18.1.3节 |
| R | 模型输出的实际对齐奖励 | 第18.1.4节 |
| Δ_{align} | 对齐差距 | 第18.1.4节 |
| L^{misalign} | 不对齐损失 | 第18.1.4节 |
| λ | 在不对齐损失中，对齐差距的权衡参数 | 第18.1.4节 |
| D | 干净的训练数据集 | 第18.1.5节 |
| 𝒟̃ | 被投毒的训练数据集 | 第18.1.5节 |
| θ | 模型参数 | 第18.1.5节 |
| θ* | 从被投毒数据集中学习到的模型参数 | 第18.1.5节 |
| θ_{clean} | 使用干净数据集获得的模型参数 | 第18.1.5节 |
| Δ_θ | 由于投毒导致的模型参数偏差 | 第18.1.5节 |
| t | 后门触发器 | 第18.1.5节 |
| 𝓑 | 后门成功率 | 第18.1.5节 |
| 𝕀 | 指示函数 | 第18.1.5节 |
| 𝒴_{malicious} | 不可取输出集合 | 第18.1.5节 |
| g | 估计输入 x 是否在训练集中的概率函数，取值范围 [0,1] | 第18.2节 |
| η | 成员推断的阈值 | 第18.2节 |
| x* | 数据提取攻击中重构的训练样本 | 第18.2节 |
| p_{sys} | 定义智能体内部准则的系统提示 | 第18.2节 |
| p_{user} | 用户提示 | 第18.2节 |
| p* | 通过逆向推断重构的提示 | 第18.2节 |
4 正文（持续更新中）
基础智能体的进展与挑战第 1 章【引言】
基础智能体的进展与挑战第 2 章【认知】
