ㅤ作者黑夜路人时间2026 年 8 月ㅤㅤ今天的大模型已经足够强大能写作、能编程、能查资料、能分析数据还能调用工具替人完成跨系统的复杂任务。但「能力强」不等于「可以放心使用」。当 AI 开始修改文件、发送消息、调用 API甚至按照自己的计划连续运行时一个答错的问题就不再只是答错——它会穿过语言层变成真实世界里的错误行动。这篇文章想回答的问题是当 AI 从「聊天窗口里的答题者」变成「真实世界里的行动者」我们该如何管理它答案不是更长的 Prompt也不是更强的模型而是一套完整的工程方法论用诞生于上世纪四十年代的控制论做底层原理用 PDCA 做治理外环用 Harness 和 Agent Loop 做工程结构把 AI 从概率性工具变成可为我所用、可控、可验、可进化的工作系统。ㅤ一、当 AI 开始「动手」问题就变了概率性是 AI 的能力来源也是风险来源传统软件按预先写好的规则运行同样的输入经过同样的代码路径原则上得到同样的结果。大模型不同它根据上下文和概率分布生成答案。这让它能在信息不完整时推断、在路径不明确时规划、面对开放问题给出新方案——这正是它强大的原因也是它不稳定的原因。模型可能误解一句看似清楚的要求可能生成听起来合理但并不真实的内容也可能在长任务中逐渐忘记最初的边界。在聊天窗口里这些问题靠人工阅读就能发现一旦 AI 获得工具和权限错误就会被行动放大。举两个例子。模型把文件路径理解错了一层聊天时最多给出一条错误建议Agent 直接执行就会改错文件。模型把一个暂时假设当成事实问答时最多产生一段幻觉长周期 Agent 会在后续每一步都引用这个假设最后构造出一整套逻辑自洽、基础全错的结果。AI 越自动化系统越要面对四类问题ㅤ目标漂移系统做了很多工作却逐渐偏离你真正要解决的问题ㅤ事实幻觉用语言的连贯性代替真实证据ㅤ误执行错误判断进入工具链改变了现实状态ㅤ权限风险系统拥有超出任务所需的能力一个局部错误被放大成全局事故Prompt 能改善一次输出却管不住长期运行面对这些问题最自然的反应是把 Prompt 写得更详细明确角色、补充规则、列出步骤、要求反思。这些确实能提高单次生成质量但 Prompt 本质上只是执行前塞给模型的一段文字。它很难独立承担长期状态管理无法真正限制工具权限代替不了代码测试、文件回读和外部状态检查更保证不了模型在几十轮执行后仍然正确理解所有早期约束。把所有控制要求都写进 Prompt就像把交通规则、车辆状态、道路变化和刹车要求全部写在一张纸上交给司机却不给汽车安装仪表盘与刹车。纸上的规则很重要但系统是否安全最终取决于规则能否被观测、执行和验证。所以真正的问题不是「如何让模型更听话」而是如何把模型放进一个人类可定义目标、可观测过程、可校验结果、可纠偏行动的受控系统。当问题被这样提出一门八十多年前的学问突然变得无比切题——控制论。ㅤ二、控制论复杂系统如何在扰动中接近目标一门为「控制与通信」而生的学问1948 年诺伯特·维纳Norbert Wiener出版《控制论》Cybernetics副标题是「关于在动物和机器中控制和通信的科学」。这本书研究的既不是动物也不是机器本身而是一个更抽象的问题任何系统——无论是恒温动物、自动驾驶仪还是组织——如何通过信息、反馈和调节在不断变化的环境中维持目标。几乎同一时期英国精神病学家兼控制论学者罗斯·阿什比W. Ross Ashby进一步回答了「控制器需要多强」的问题。这些思想后来深刻影响了自动化、系统工程和管理学今天轮到 AI 工程从中汲取框架。这里的「控制」不是命令更不是要求对象机械服从。它指的是系统能够感知当前状态将现实与目标进行比较再依据偏差调整行动。控制不是一次决定而是一个持续闭合的过程。最容易理解的例子是空调你把室温设定为 25 度这是目标温度传感器不断测量实际温度这是感知系统比较目标与实际温度这是偏差判断空调决定制冷、制热或停止这是控制决策压缩机与风机改变室温这是执行新的温度再次被传感器读取这就形成反馈。缺了任何一环系统都会失效没有传感器空调只能固定运行十分钟它不知道房间究竟多少度没有比较它虽然知道温度却不知道该升温还是降温没有反馈它不知道刚才的动作是否有效。ㅤ下面把这个闭环拆开逐个看看控制论的核心概念——它们每一个都直接对应着 AI 工程的现实问题。ㅤ目标与参考值先要知道维持什么没有目标就没有偏差也就无从谈控制。但控制论中的目标不是一句模糊愿望而是可判断、可比较的参考状态。「让房间舒服一点」很难直接控制「把温度保持在 24 至 26 度」才形成了参考范围。目标也不一定是一个单点。汽车不是速度越快越好而要同时满足路线、安全、法规和能耗约束企业也不是收入越高越好而要兼顾利润、现金流与风险。稳定的系统通常维护的是一组变量的合理区间。对 AI 的启示很直接系统不仅要知道「要产出什么」还要知道质量、成本、权限和风险各自允许到什么程度。被控对象究竟是什么在发生变化被控对象是控制动作真正作用的系统。开车时是汽车空调系统中是房间温度项目管理中是任务、资源、进度和协作关系。在 AI 场景里被控对象绝不只是大模型。模型的输出会通过工具影响文件、代码、数据库、在线文档、浏览器和组织流程。真正需要控制的是「模型、工具、工作流与现实环境」组成的整体。只盯着模型是否听话却忽略工具权限和外部状态就像只要求司机谨慎却不检查车辆刹车与道路条件。环境与扰动系统永远不会运行在理想世界扰动是所有会让系统偏离目标的变化。对空调来说开门、阳光、室外温度和房间人数都是扰动对项目来说需求变化、人员调整和依赖延期都是扰动。对 AI 来说扰动包括需求临时变化、上下文噪声、资料过期、模型幻觉、工具超时、权限失效、接口变更、提示注入以及执行过程中冒出来的新事实。一个系统如果只在输入完整、工具稳定、用户表达毫无歧义时才能工作它不叫可靠只是恰好在理想条件下跑通了。工程设计必须把扰动当成正常输入而不是把每次失败都视为意外。感知器看不见现实就无法控制现实感知器负责把系统当前状态转化为控制器能够使用的信息。汽车的速度表、后视镜和故障灯是感知器项目的进度数据、质量报告和风险清单也是感知器。在 AI 系统中日志、测试结果、文件 Diff、检索证据、工具返回、远端版本、运行状态和用户反馈共同构成感知层。这里必须做一个关键区分「模型认为发生了什么」不等于「现实真正发生了什么」。模型说文件已经修改不等于文件真的正确修改模型说接口应该可用不等于请求已经成功。只有真实回读和外部证据才能成为可靠感知。比较器把实际结果与目标标准放在一起感知只能告诉系统「现在是什么」比较器进一步判断「现在与目标差多少」。温度计读出 28 度本身说明不了是否异常只有与目标温度比较后系统才知道需要制冷。AI 工程中的比较器可以是自动测试、格式校验、规则检查、Evaluator、Checker 或人工审查。它们负责回答结果是否满足任务契约事实是否有证据动作是否越权成本是否超出预算。没有比较器AI 很容易把「已经生成」当成「已经完成」把「工具调用过」当成「现实已正确改变」。控制器与执行器决策与行动控制器把偏差转化为决策。房间过热时决定开制冷汽车偏离路线时决定转向或重新规划项目落后时决定调整范围、资源或时间。AI 系统中的控制器不是模型单独承担的。模型之外的策略、权限、预算、状态机和调度规则与模型的规划能力共同决定下一步继续执行、补充信息、重新规划、有限修复、请求人工确认还是停止。控制器最重要的能力不是「总能想出办法」而是根据偏差类型选择合适动作并且不突破安全边界。执行器负责把决策变成现实变化。空调的压缩机、汽车的方向与制动系统都是执行器在 AI 工程中文件工具、脚本、API、浏览器、数据库接口和自动化任务就是执行器。执行器越强控制要求越高一个只读检索工具的最大风险有限一个能覆盖文件、发布内容或修改生产系统的工具则必须配备更严格的权限、审计和回滚机制。负反馈与正反馈系统稳定与失控的来源负反馈会抑制偏差使系统重新接近目标房间太热就增加制冷车速过快就减速测试失败就根据失败原因修复。负反馈是系统稳定的主要来源。但反馈不是简单重复——如果每次失败都只让 AI「再试一次」系统并没有真正利用反馈。有效反馈必须告诉控制器偏差发生在哪里并改变下一步行动。正反馈会强化当前趋势。它并不总是坏事一个有效策略被复用可以提高效率一条高质量知识被不断引用可以提升后续任务质量。但正反馈同样放大错误——模型产生一个错误假设后续步骤不断引用最终让这个假设变成整条工作流的地基。Agent 的自动化程度越高正反馈风险越值得警惕系统需要独立验证、权限限制、修复预算和人工闸口阻止错误沿工具链无限扩散。必要多样性控制力必须配得上复杂度阿什比的「必要多样性」定律可以通俗地理解为只有足够丰富的控制能力才能应对足够复杂的环境变化。一个只有开和关两个状态的设备可以控制电灯却管不了一座复杂建筑的温度、湿度、空气质量和能耗。同样一段 Prompt 加一句「请认真反思」也无法稳定管理长周期、多工具、高风险任务。复杂任务需要组合多种控制手段程序负责确定性检查模型负责开放判断状态机维持过程连续性权限系统限制影响范围人工判断处理高风险例外。控制能力来自整个系统而不是来自某个无所不能的模型。稳态不是让 AI 无限行动而是维持安全边界控制系统追求的通常不是无限增长而是让关键变量维持在可接受范围。空调不追求温度越低越好汽车不追求速度越快越好AI 系统同样不应该追求调用次数、执行轮次或自动化程度越高越好。质量、成本、权限、风险、执行时间和人工介入次数都需要维持在合理区间。最大轮次、最大预算、超时、停止规则和人工确认点都是保持稳态的机制。一个成熟系统必须知道什么时候继续、什么时候修复、什么时候交给人以及什么时候承认当前条件下无法完成。到这里控制论给出了一套完整结构。下一步是把这些抽象概念翻译成 AI 工程中的具体对象。ㅤ三、关键转折控制的不是模型而是模型所在的系统如果把 AI 看成被控对象控制系统究竟是什么答案不是一个更复杂的 Prompt也不只是一个更强的模型。真正的控制系统由任务目标、上下文、工具、权限、状态、验证、反馈、记忆与人共同组成。控制论与 AI 工程的对应关系可以整理为控制论概念AI 工程中的对应物解决什么问题目标 / 参考值任务契约、验收标准要完成什么什么才算完成被控对象模型、工具链、工作流、外部系统哪些状态会被 AI 改变环境与扰动需求变化、噪声、幻觉、工具失败系统可能因为什么跑偏感知器日志、测试、回读、用户反馈如何知道现实发生了什么比较器校验器、断言、人工审查如何判断结果与目标的偏差控制器Harness、策略、权限、状态机发现偏差后由谁决定下一步执行器工具、API、脚本、浏览器控制动作如何改变现实负反馈修复、重试、回滚、重新规划如何缩小已发现的偏差稳态机制停止规则、预算、人工闸口如何防止无限循环和风险扩大学习机制知识库、洞察、技能、评测集如何让一次经验改善下次任务这张表背后有三个落地要点。控制输入先于控制输出。AI 的判断依赖上下文过期信息、冲突材料和无关噪声会直接扭曲它对世界的理解。哪些信息进入上下文、哪些事实具有更高权威、冲突时如何处理、长任务中哪些状态必须保留——这相当于为控制器建立一个足够准确的环境模型。一个不了解当前文件版本、工具能力和任务边界的 Agent再聪明也只能盲目行动。权限分级最小够用。模型产生的是意图工具把意图变成现实。只读工具的最大风险有限能删除、覆盖、发布、支付的工具则完全不同。权限应按只读、草稿、本地可恢复写入、外部写入、公开发布逐级开放。模型可以提出动作但是否允许执行应由模型之外的控制结构决定。生成者和检查者要分离。生成能力解决「能否提出结果」验证能力解决「能否知道结果是否正确」两者不能混为一谈。让同一个 Agent 在同一上下文中自己生成又自己宣布验收很容易带着相同的盲点走过场。能确定性验证的交给测试和程序需要语义判断的交给独立评估器高风险的交给人。这一层的结论只有一句话控制 AI 的对象不是模型本身而是模型所在的输入、工具、权限、反馈、验证和记忆系统。ㅤ四、双环嵌套人管方向机器管执行工程系统仍然需要人持续决定目标、审查结果、更新控制方式。这就是 PDCA 的位置。PDCA 经常被画成 Plan、Do、Check、Act 四个方框因此很容易被当成普通工作流程。它真正重要的地方不是把任务分成四步而是把目标、执行、反馈和改进连接成一个持续循环。从控制论角度看PDCA 就是控制闭环在工作方法上的表达。Plan 首先要回答的不是「AI 准备怎么做」而是「人究竟想得到什么」。一个可靠任务应明确目标、非目标、输入来源、输出形式、成功标准、风险等级与人工确认点。计划不需要预先写死每个动作因为开放任务的路径会随反馈变化但目标和边界必须稳定否则系统无法判断自己是在调整路径还是已经改变了方向。Plan 还要提前设计 Check——如果事前不知道结果如何验证执行结束后就很容易把「已经产出」误认为「已经完成」。Do 不是把任务全部交出去而是让 Agent 在已知工具、权限和预算内行动。低风险任务可以自动执行高风险动作应先生成预览可逆操作可以有更高自动化不可逆操作必须更加谨慎。先只读探索再生成草稿先在本地验证再写入外部系统先小范围运行再扩大覆盖——这些都是 Do 阶段的控制方式。执行过程还必须记录状态当前阶段、已采取的动作、修改的对象版本、预算消耗和失败位置。否则一旦中断Agent 只能依赖不稳定的对话记忆重新猜测。Check 是整个闭环中最容易被弱化的一步。AI 执行完成后说「任务已完成」不等于任务真的完成文件要重新读取代码要真实运行外部系统要检查远端状态研究结论要回到来源证据。检查可以分为三层——确定性检查负责文件、格式、测试和状态语义评估负责完整性、逻辑与表达质量人工判断负责目标、价值、风险和最终责任。三层各自处理适合的问题不能让模型评价替代所有现实验证。Act 首先处理当前任务根据 Check 结果选择修复、重试、降级、回滚、停止或请求人工确认。更重要的是Act 要处理系统本身反复出现的失败不应永远靠临时补救而要转化为新的验证器、更小的权限、更清楚的任务模板、更合适的工具或者新的知识和技能沉淀。如果每次复盘的结论都只是「下次注意」PDCA 并没有真正闭环只有反馈改变了下一轮的目标、规则和能力系统才发生了进化。PDCA 和 Agent Loop 都包含计划、执行和检查但时间尺度完全不同Agent Loop 面向一次任务在秒、分钟或小时尺度上持续感知、执行和修复PDCA 面向多次任务和整个工作系统在天、周或版本尺度上调整目标、规则、工具与知识。二者是两个嵌套的闭环。人通过 PDCA 控制方向AI 通过 Agent Loop 完成执行反馈。人的价值不在于逐步遥控而在于定义目标、审查异常、调整控制器并承担最终责任。ㅤ五、工程核心Harness 建结构Agent Loop 跑闭环这是整套方法论的工程核心。Harness 负责建立控制结构Agent Loop 负责在结构中执行一个决定 AI 能看见什么、能做什么、如何被检查另一个决定 AI 如何一步步推进、利用反馈并最终收敛。Harness模型外围的控制系统Harness 不是模型本身也不是一个更长的 Prompt而是一组由运行时、工具、策略、状态和验证机制共同构成的工程能力。它管九件事1.管理上下文决定哪些事实进入当前任务如何标记来源与时效怎样压缩长任务历史如何避免外部内容中的指令污染系统目标2.管理工具每个工具都应有清楚的输入、输出、副作用、失败语义与幂等特性Agent 不仅要知道「能用」还要知道它会改变什么、失败后处于什么状态3.管理权限读取、草稿、本地写入、外部写入和公开发布分级授权权限由策略层按任务契约和风险等级决定模型不能自行扩权4.管理状态保存当前阶段、完成事项、外部对象版本、检查点、剩余预算和失败位置让长任务能中断恢复而不是完全依赖对话上下文5.管理日志不是为了堆积过程而是让关键事实可追溯——基于什么目标、读了哪些来源、调了什么工具、改了哪个对象、验证结果是什么6.管理验证组织测试、Checker、Evaluator 与人工审查把验收标准固定在模型之外避免 Agent 在结果不合格时自行降低标准7.管理预算Token、时间、工具调用次数、外部费用、修复轮次和人工注意力都是预算预算迫使系统在继续探索、交付当前结果和请求帮助之间做明确选择8.管理回滚对可能产生副作用的动作尽量提供预览、备份、幂等、事务或补偿路径——不是所有错误都能修复可恢复性必须在执行前设计9.管理沉淀任务结束时把验证过的事实、洞察、流程和失败样本路由到知识库、洞察、技能与评测集让一次运行能够影响未来运行ㅤ一句话概括模型提供能力Harness 提供秩序。ㅤAgent Loop九阶段执行闭环Agent Loop 不是让模型在回答末尾写一段「自我反思」而是一条有状态、有验证、有预算、有停止条件的执行闭环。一个完整 Loop 由九个阶段组成ㅤDiscovery发现上下文先读取任务相关事实、当前环境、已有状态与限制区分已确认事实、暂时假设和待补充信息避免在错误的世界模型上直接规划ㅤContract明确任务契约把人的意图转化为目标、非目标、交付物、验收标准与风险边界。契约一旦进入执行应保持稳定目标发生实质变化要重新确认而不是悄悄改写ㅤPlan制定路径根据当前上下文选择步骤、工具、检查点和失败处理方式。计划是可调整的执行策略不是不可改变的剧本ㅤExecute执行动作每次只实施边界清楚、影响可控的动作。高风险操作先预览外部副作用要记录对象与版本重复执行要考虑幂等ㅤVerify验证结果重新读取现实将结果与任务契约比较。测试、回读、证据核验与独立评价都发生在这里——没有 VerifyLoop 只是重复行动ㅤRepair有限修复对明确偏差做针对性调整限制修改范围、轮次和预算并保留当前最佳结果。Repair 的目标是收敛不是无限尝试ㅤHuman Gate高风险交给人当动作重大、难以撤销、证据不足或目标发生歧义时把决定权交还给人。闸口应展示动作、影响、差异、证据和恢复能力而不只是询问「是否继续」ㅤPersist沉淀有效经验任务完成后把经过验证、具有复用价值的事实、方法与流程分别沉淀。Persist 不是保存全部对话而是提取会改变未来行为的内容ㅤSchedule需要时周期化运行只有契约稳定、输入可观测、失败可恢复、结果可验证时Loop 才适合进入周期调度。定时运行不是简单重复脚本而是让同一控制闭环在新的环境状态下重新执行一个关键区分Prompt 描述规则Harness 执行规则Prompt 可以告诉模型不要越权Harness 会直接拒绝未经授权的工具调用Prompt 可以要求模型检查结果Harness 会真正运行测试并回读外部状态Prompt 可以提醒模型控制成本Harness 会计算预算并在超限时停止。同样模型自我反思只是一次新的生成它可能重复原有盲点Agent Loop 则要求验证来自现实证据修复受到预算约束状态转换具有明确条件高风险动作必须经过外部闸口。两者结合之后AI 才从一个「会思考、会调用工具的模型」变成一个能够在工程边界中持续接近目标的工作系统。一个完整例子让 AI 撰写并更新一篇技术文档假设任务是根据一组研究材料撰写技术文章并更新到在线文档。Discovery 先读取材料、当前文档版本和写入权限Contract 明确文章读者、核心问题、结构要求、禁用内容和完成标准Plan 安排资料核对、写作、结构审查、事实验证与远端更新Execute 先生成本地稿不直接覆盖外部文档。Verify 检查文章是否真正按预定结构递进关键概念是否完整外部引用是否可靠发现结构或表达问题后Repair 只针对偏差改写。远端覆盖前如果存在不可逆风险就进入 Human Gate由人确认。写入后系统重新导出在线文档核对标题、章节、关键结论和版本。验收通过后稳定理论进入知识层可复用判断进入洞察层已经稳定的写作与发布流程封装为技能如果任务需要定期更新再进入 Schedule。同样是「写文章并更新文档」普通调用依赖模型一次做对Harness 与 Agent Loop 则让系统能够发现错误、限制错误并完成闭环。ㅤ六、八条设计原则把前面所有内容收束成一组能长期对照的原则1.人拥有目标。AI 可以帮助澄清、拆解目标和选择路径但不能在执行过程中自行改变最终目标。目标一旦变化参考值就变了必须重新进入人的 Plan 与确认。人的核心权力不是决定每一个步骤而是拥有目标定义权、边界设定权和最终责任。2.所有任务都要有契约。契约至少说明目标、非目标、交付物、验收标准和风险边界可以很短但不能缺失。「已经生成」「已经调用」「应该没问题」都不是完成完成必须对应一个可验证的标准。3.生成者和检查者分离。模型可以自检但不能只靠自检确定性事实交给程序验证开放质量交给独立评价高风险结果交给人。分离的目的不是制造流程而是避免同一个假设同时控制生成和验收。4.高风险动作必须有人类闸口。公开发布、删除覆盖、生产变更、资金操作、隐私访问和法律承诺不能因为 Agent 技术上能够执行就默认允许自动执行。闸口应放在风险发生跃迁的位置并向人提供足够的差异、证据与后果信息。5.工具权限默认最小化。只应获得完成当前任务所必需的能力能只读就不写入能局部修改就不全量覆盖能先预览就不直接执行能在隔离环境验证就不先触碰真实系统。权限越大验证、审计和恢复要求就越高。6.所有关键动作必须可回读、可验证。系统不能用自己的动作记录证明自己成功改了文件就重读文件提交了代码就跑测试更新了远端就查远端生成结论就回到事实来源。可回读是可验证的前提可验证是可信任的前提。7.失败不是异常而是 Loop 的正常输入。工具失败、证据不足、目标变化和结果不达标都应进入预先设计的控制路径系统要区分何时重试、何时修复、何时降级、何时回滚、何时交给人、何时停止。真正稳定的系统不是从不失败而是失败不会无限扩散。8.经验必须沉淀否则系统不会进化。任务结束不是闭环结束验证过的事实进知识库可复用的判断框架进洞察稳定流程封装成技能典型失败进评测集。但沉淀必须发生在验证之后——错误信息一旦进入长期记忆会通过正反馈在后续任务中被不断放大。ㅤㅤ七、从一个小闭环开始这套方法并不要求一开始就建设庞大的 Agent 平台。最合理的起点是选择一个高频、低风险、结果容易验证的任务先建立最小闭环。先写清任务契约再让系统拥有真实回读先建立确定性检查再开放有限写入先证明系统能够停止和恢复再增加自动修复先让单个 Loop 稳定再考虑多 Agent 和周期调度。自动化程度不应该由模型能力决定而应该由控制能力赢得。系统只有在真实运行中证明自己可观测、可验证、可停止、可恢复才应该获得更大的行动范围。ㅤㅤ结语AI 带来的真正变化不只是机器开始拥有更强的生成能力而是软件开始能够理解目标、选择路径并采取行动。当软件开始行动工程的核心就从「如何调用模型」转向「如何管理一个动态系统」。八十年前维纳和阿什比为动物与机器写下的控制论今天依然给出答案目标、感知、比较、反馈与稳态。PDCA 把它转化为人的治理外环Harness 把规则固化为工程结构Agent Loop 让机器在结构内持续执行与纠偏知识、洞察与技能的沉淀则把一次任务的经验变成长期能力。我们要建设的不是一个替人决定一切的自主主体而是一个围绕人的目标运行、接受人的边界约束、能够提供真实证据、会在错误中修正并能随实践持续进化的工作系统。真正属于你的 AI不是一个会回答问题的模型而是一个围绕你的目标、知识、边界和判断力持续运行的控制系统。ㅤㅤ