最近在尝试用大模型解决复杂任务时你是否也遇到过这样的困境精心设计的提示词Prompt在第一次交互后模型给出的结果总是不尽如人意要么偏离核心需求要么细节缺失不得不反复手动调整、重新输入陷入“提示-不满意-再提示”的循环怪圈这种依赖单次、静态提示词的方法在面对代码生成、数据分析、创意写作等需要多轮迭代和深度思考的任务时显得力不从心。本文将为你介绍一种更高效、更智能的范式——循环工程。它不再是“一锤子买卖”而是通过构建一个自动化的反馈循环让AI在多次迭代中自我优化直至产出高质量结果。无论你是希望提升日常开发效率的工程师还是探索AI应用边界的研究者掌握循环工程都能让你从“提示词调参师”转变为“AI流程架构师”。下面我们将从核心概念到完整实战一步步拆解如何用循环工程构建稳定、可靠的AI工作流。1. 背景与核心概念从静态提示到动态循环在深入循环工程之前我们有必要厘清几个核心概念并理解为什么传统的提示词方法存在瓶颈。1.1 什么是提示词工程提示词工程Prompt Engineering是指通过精心设计和构造输入文本即提示词来引导大语言模型LLM生成符合预期的输出。它就像给AI下达的“指令手册”其质量直接决定了模型响应的相关性、准确性和创造性。传统提示词工程的典型流程设计人类根据任务目标编写包含角色、任务、格式、示例等元素的提示词。执行将提示词一次性提交给LLM。评估与调整人类评估输出结果如果不满意则返回第一步手动修改提示词再次尝试。这个过程本质上是开环的。AI模型只是一个被动的执行者它无法根据第一次输出的结果进行自我反思和修正。所有的“智能”都依赖于人类在提示词中预设的“可能性”一旦任务超出预设范围或需要多步推理效果就会大打折扣。1.2 循环工程定义与核心理念循环工程Loop Engineering或称迭代式提示工程是一种更高级的方法论。它将单次提示扩展为一个包含计划、执行、评估、修正的自动化闭环系统。核心思想不是追求一个“完美”的提示词来一次性解决问题而是设计一个能够自动运行多轮、并在每一轮中基于上一轮的结果进行优化和调整的智能流程。一个典型的循环工程流程包含以下关键组件规划器Planner分析初始任务将其分解为可执行的子步骤或生成一个初步方案。执行器Executor通常是LLM本身负责执行当前步骤或根据方案生成内容。评估器Evaluator评估执行器产出的质量检查是否满足要求或与目标还有多大差距。评估器可以是另一段提示词驱动的LLM也可以是规则系统甚至是人类。修正器Refiner根据评估器的反馈生成用于下一轮迭代的、优化后的指令或调整方案。这个循环会持续进行直到评估器认为结果达到预定标准如通过率、满意度分数或达到最大迭代次数。1.3 为什么需要循环工程对比静态提示词特性维度静态提示词工程循环工程交互模式单次、开环多次、闭环核心依赖提示词的初始设计质量循环流程的设计与评估标准适应能力弱对复杂、模糊任务效果差强能通过迭代逼近最优解人类参与每轮都需要深度介入主要在设计流程和设定标准时介入典型应用简单问答、格式转换、摘要复杂代码生成、多轮对话、持续优化、A/B测试生成类比给厨师一张固定菜谱给厨师一个目标如“做一道最好吃的鱼”并配备一位试菜员持续反馈咸淡、火候循环工程的优势在于它模拟了人类解决问题的方式尝试、检查、调整、再尝试。它特别适用于以下场景任务具有模糊性或探索性例如“设计一个吸引人的登录页”。任务需要多步推理或依赖前序结果例如“根据这份需求文档先写架构设计再根据架构生成核心模块代码”。质量要求极高需要反复打磨例如生成用于生产环境的代码、重要的市场文案。自动化测试与验证将输出结果的验证也纳入循环实现全自动化。2. 环境准备与工具选择在开始构建循环之前你需要准备好编程环境和合适的工具库。本文将以Python作为主要编程语言并使用OpenAI API作为LLM服务你也可以替换为其他兼容OpenAI格式的API如DeepSeek、智谱AI等。我们重点介绍流程框架因此对具体模型版本不做强绑定。2.1 基础环境配置Python环境建议使用 Python 3.8 及以上版本。使用conda或venv创建独立的虚拟环境是一个好习惯。安装必要库我们将使用openai库进行API调用使用tenacity库实现重试机制使用pydantic进行结构化数据验证可选但推荐。# 创建并激活虚拟环境以conda为例 conda create -n loop_engineering python3.10 conda activate loop_engineering # 安装核心库 pip install openai tenacity pydantic2.2 获取并配置API密钥访问OpenAI平台或你选择的其他平台创建API Key。安全提示切勿将API Key直接硬编码在代码中或提交到版本控制系统如Git。推荐使用环境变量管理。# 在Linux/macOS的终端或Windows的PowerShell中设置环境变量 # Linux/macOS export OPENAI_API_KEYyour-api-key-here # Windows (PowerShell) $env:OPENAI_API_KEYyour-api-key-here在你的Python代码中可以通过os.environ读取import os from openai import OpenAI api_key os.environ.get(OPENAI_API_KEY) if not api_key: raise ValueError(请设置 OPENAI_API_KEY 环境变量) client OpenAI(api_keyapi_key)2.3 辅助工具LangChain 与 Semantic Kernel对于快速构建复杂的AI工作流你可以考虑使用更高级的框架LangChain一个用于开发由LLM驱动的应用程序的流行框架内置了链Chain、代理Agent等概念天然支持循环和工具调用。适合快速原型开发。Semantic Kernel微软推出的轻量级SDK专注于规划和插件架构与.NET/Python集成良好。本文为深入理解原理将先从零开始构建一个简易循环再简要介绍如何使用LangChain实现相同功能。3. 循环工程核心模式拆解循环工程不是单一方法而是一系列模式。下面介绍三种最实用、最核心的模式。3.1 模式一自我修正循环Self-Correction Loop这是最基础的循环模式。LLM生成一个答案然后由同一个或另一个LLM扮演“评审者”角色找出答案中的问题再让LLM根据评审意见进行修正。适用场景代码调试、文章润色、解题检查等任何需要“校对”和“改进”的任务。流程生成根据用户请求Initial_Query生成初版结果Result_v1。评审构建一个“评审提示”让LLM以批判性视角分析Result_v1找出错误、不完善或可改进点生成Feedback。修正构建一个“修正提示”将Initial_Query、Result_v1和Feedback一起交给LLM要求其生成改进版Result_v2。循环可以重复步骤2和3多次或当Feedback指出“无需修改”时停止。3.2 模式二规划-执行-评估循环Plan-Execute-Evaluate Loop此模式将任务分解为多个步骤逐步执行并评估适合复杂项目。适用场景软件项目开发、数据分析报告生成、复杂研究任务。流程规划LLM根据目标生成一个详细的步骤计划Plan例如步骤1需求分析步骤2数据库设计步骤3API接口定义…。执行LLM执行当前计划中的第一个步骤产出Result_step_i。评估评估Result_step_i的质量和与计划的符合度。评估可以基于规则如代码能否编译、基于LLM询问“这个设计是否完整”或基于外部工具运行单元测试。调整与继续如果评估通过则继续执行下一个步骤如果失败则可能退回修改当前步骤的结果甚至调整整个计划。循环直至所有步骤完成。3.3 模式三进化优化循环Evolutionary Optimization Loop受遗传算法启发此模式同时维护多个候选解决方案“种群”通过多轮“选择-交叉-变异”迭代逐步进化出更优解。适用场景创意生成如广告语、设计草图描述、参数调优、寻找满足多重约束的解决方案。简化流程初始化生成一组例如5个不同的初始方案Population。评估对每个方案进行评分由LLM或规则给出。选择保留评分高的方案“精英”淘汰评分低的。生成新方案基于保留的“精英”方案通过LLM进行“交叉”组合不同方案的优点和“变异”对方案进行随机修改生成新一代方案。循环重复步骤2-4直到达到迭代次数或出现满意解。4. 完整实战案例构建一个自我修正的代码生成器让我们通过一个具体案例将“自我修正循环”模式落地。我们的目标是创建一个能生成Python数据可视化代码并自动检查、修正其中常见错误的AI助手。4.1 项目结构与设计我们将创建以下文件requirements.txt: 项目依赖。config.py: 存放API配置和提示词模板。loop_engine.py: 循环引擎的核心逻辑。main.py: 主程序提供用户交互。4.2 核心代码实现首先定义提示词模板和配置。# config.py import os from dataclasses import dataclass dataclass class PromptTemplates: 存放所有提示词模板 # 初始代码生成提示 CODE_GENERATION_TEMPLATE 你是一位经验丰富的Python数据分析师。请根据以下用户需求生成完整的、可直接运行的Python代码。 要求 1. 使用 pandas 和 matplotlib/seaborn 库。 2. 代码必须包含必要的导入语句、数据加载可以使用示例数据、可视化创建和图形显示plt.show()。 3. 添加清晰的注释。 4. 确保代码遵循PEP 8风格指南。 用户需求{user_request} 请只输出代码不要输出任何解释性文字。 # 代码评审提示 CODE_REVIEW_TEMPLATE 你是一位严格的代码评审专家。请仔细检查以下Python代码找出其中的BUG、潜在问题、风格问题或可优化点。 请重点检查 1. 语法错误。 2. 导入的库是否已正确安装假设标准数据科学库已安装。 3. 变量名是否清晰。 4. 是否有拼写错误。 5. 图形显示逻辑是否正确如图例、标签、标题。 6. 是否符合PEP 8规范如缩进、空格。 代码 python {generated_code} 请以列表形式指出所有发现的问题。如果代码完美无缺请输出“代码评审通过未发现问题。”。 # 代码修正提示 CODE_REFINEMENT_TEMPLATE 以下是用户最初的需求 {user_request} 以下是根据需求生成的初版代码 python {generated_code} 代码评审发现了以下问题 {review_feedback} 请你根据原始需求和评审反馈对代码进行修正生成一个改进后的、完整的、可运行的版本。 请只输出修正后的完整代码不要输出任何解释。 dataclass class Config: 配置类 OPENAI_API_KEY os.environ.get(OPENAI_API_KEY) MODEL gpt-4o-mini # 可根据需要更换为 gpt-4, gpt-3.5-turbo 等 MAX_ITERATIONS 3 # 最大修正迭代次数接下来实现循环引擎。# loop_engine.py import logging from typing import Optional, Tuple from tenacity import retry, stop_after_attempt, wait_exponential from openai import OpenAI from config import Config, PromptTemplates logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) class SelfCorrectingCodeGenerator: 自我修正代码生成器 def __init__(self): self.client OpenAI(api_keyConfig.OPENAI_API_KEY) self.templates PromptTemplates() retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def _call_llm(self, prompt: str) - str: 调用LLM封装重试逻辑 try: response self.client.chat.completions.create( modelConfig.MODEL, messages[{role: user, content: prompt}], temperature0.2, # 低温度保证输出稳定性 ) return response.choices[0].message.content.strip() except Exception as e: logger.error(f调用API失败: {e}) raise def generate_initial_code(self, user_request: str) - str: 生成初始代码 prompt self.templates.CODE_GENERATION_TEMPLATE.format(user_requestuser_request) logger.info(正在生成初始代码...) code self._call_llm(prompt) logger.info(初始代码生成完成。) return code def review_code(self, code: str) - str: 评审代码返回反馈 prompt self.templates.CODE_REVIEW_TEMPLATE.format(generated_codecode) logger.info(正在评审代码...) feedback self._call_llm(prompt) logger.info(f评审反馈{feedback[:200]}...) # 日志只记录前200字符 return feedback def refine_code(self, user_request: str, code: str, feedback: str) - str: 根据反馈修正代码 prompt self.templates.CODE_REFINEMENT_TEMPLATE.format( user_requestuser_request, generated_codecode, review_feedbackfeedback ) logger.info(正在修正代码...) refined_code self._call_llm(prompt) logger.info(代码修正完成。) return refined_code def run_correction_loop(self, user_request: str) - Tuple[str, list]: 运行自我修正循环。 返回(最终代码, 每轮的历史记录列表) history [] current_code self.generate_initial_code(user_request) history.append({iteration: 0, code: current_code, feedback: Initial generation}) for i in range(1, Config.MAX_ITERATIONS 1): feedback self.review_code(current_code) history.append({iteration: i, code: current_code, feedback: feedback}) # 检查是否通过评审 if 代码评审通过 in feedback or 未发现问题 in feedback: logger.info(f第{i}轮评审通过循环终止。) break # 未通过进行修正 logger.info(f第{i}轮评审未通过开始修正...) refined_code self.refine_code(user_request, current_code, feedback) # 简单检查修正后的代码是否与之前不同防止死循环 if refined_code current_code: logger.warning(修正后代码未发生变化循环终止。) break current_code refined_code else: logger.info(f已达到最大迭代次数{Config.MAX_ITERATIONS}循环终止。) return current_code, history最后编写主程序。# main.py import sys from loop_engine import SelfCorrectingCodeGenerator def main(): if len(sys.argv) 1: # 从命令行参数读取需求 user_request .join(sys.argv[1:]) else: # 交互式输入 print(请输入你的数据可视化需求例如绘制过去一周每日销售额的折线图要求美观) user_request input( ).strip() if not user_request: print(需求不能为空。) return print(f\n你的需求是{user_request}) print(开始执行自我修正代码生成循环...\n) generator SelfCorrectingCodeGenerator() final_code, history generator.run_correction_loop(user_request) print(\n *50) print(最终生成的代码) print(*50) print(final_code) print(*50) # 可选将代码保存到文件 save input(\n是否将代码保存到文件(y/n): ).lower() if save y: filename input(请输入文件名例如plot.py: ).strip() or generated_plot.py with open(filename, w, encodingutf-8) as f: f.write(final_code) print(f代码已保存至 {filename}) # 可选查看历史记录 view_history input(\n是否查看迭代历史(y/n): ).lower() if view_history y: for record in history: print(f\n--- 迭代 {record[iteration]} ---) print(f反馈{record[feedback][:300]}...) # 只显示前300字符 if __name__ __main__: main()4.3 运行与验证准备环境确保已设置OPENAI_API_KEY环境变量。运行程序# 方式一命令行直接输入需求 python main.py “用seaborn绘制鸢尾花数据集中花瓣长度与花瓣宽度的散点图并按物种着色” # 方式二交互式运行 python main.py # 然后根据提示输入需求预期行为程序会先根据你的需求生成一段初始代码。然后调用LLM扮演评审员检查代码问题。如果发现问题会根据反馈生成修正版代码。此过程最多重复3次可配置或在代码通过评审时提前结束。最终输出修正后的代码并可选保存到文件。示例输出片段你的需求是用seaborn绘制鸢尾花数据集中花瓣长度与花瓣宽度的散点图并按物种着色 开始执行自我修正代码生成循环... INFO:root:正在生成初始代码... INFO:root:初始代码生成完成。 INFO:root:正在评审代码... INFO:root:评审反馈1. 缺少导入seaborn的语句。 2. 数据加载使用了错误的URL示例中用了在线数据集但未指定正确的seaborn内置数据集加载方式。 3. 图形标题和轴标签不够清晰。... INFO:root:第1轮评审未通过开始修正... INFO:root:正在修正代码... INFO:root:代码修正完成。 INFO:root:正在评审代码... INFO:root:评审反馈代码评审通过未发现问题。 INFO:root:第2轮评审通过循环终止。 ... 最终生成的代码 import seaborn as sns import matplotlib.pyplot as plt # 加载鸢尾花数据集 iris sns.load_dataset(iris) # 创建散点图 plt.figure(figsize(10, 6)) scatter_plot sns.scatterplot(datairis, xpetal_length, ypetal_width, huespecies, paletteviridis, s100) # 添加标题和标签 plt.title(鸢尾花花瓣长度与宽度关系按物种分类, fontsize16) plt.xlabel(花瓣长度 (cm), fontsize12) plt.ylabel(花瓣宽度 (cm), fontsize12) plt.legend(title物种) plt.grid(True, linestyle--, alpha0.7) # 显示图形 plt.tight_layout() plt.show()4.4 结果说明通过这个简单的循环我们实现了自动化代码生成根据自然语言描述生成可运行代码。自动化代码评审利用LLM的代码理解能力进行静态检查。自动化迭代修正基于评审反馈持续优化代码无需人工干预。可控的循环通过最大迭代次数和终止条件评审通过防止无限循环。这个案例展示了循环工程如何将单次的“生成-检查”过程自动化显著提升了输出代码的可靠性和质量。5. 进阶使用LangChain实现规划-执行-评估循环为了展示循环工程的灵活性我们使用LangChain快速实现一个更复杂的“规划-执行-评估”循环用于完成一个多步骤的数据分析报告任务。安装LangChainpip install langchain langchain-openai示例代码# langchain_plan_loop.py import os from langchain_openai import ChatOpenAI from langchain.schema import HumanMessage, SystemMessage from langchain.prompts import ChatPromptTemplate from langchain.chains import LLMChain from typing import List, Dict # 初始化LLM llm ChatOpenAI(modelgpt-4o-mini, temperature0, api_keyos.environ.get(OPENAI_API_KEY)) def create_planner() - LLMChain: 创建规划链 prompt ChatPromptTemplate.from_messages([ SystemMessage(content你是一个资深数据分析项目规划师。请将复杂的分析任务分解为清晰、可执行的步骤。), HumanMessage(content请将以下任务分解为步骤\n任务{task}\n\n请以列表形式输出步骤每个步骤应是一个具体的动作。) ]) return LLMChain(llmllm, promptprompt) def create_executor() - LLMChain: 创建执行链 prompt ChatPromptTemplate.from_messages([ SystemMessage(content你是一个数据分析专家擅长执行具体的数据处理和分析步骤。请根据给定的步骤和上下文生成Python代码或分析结论。), HumanMessage(content当前步骤{step}\n\n已完成的上下文{context}\n\n请执行此步骤如果需要代码请输出完整代码如果是分析请输出分析结果。) ]) return LLMChain(llmllm, promptprompt) def create_evaluator() - LLMChain: 创建评估链 prompt ChatPromptTemplate.from_messages([ SystemMessage(content你是一个严格的质量评估员。请评估给定步骤的执行结果是否合格。), HumanMessage(content步骤要求{step}\n\n执行结果{result}\n\n请评估该结果是否完整、正确地完成了步骤要求回答通过或不通过并简要说明理由。) ]) return LLMChain(llmllm, promptprompt) def run_plan_execute_evaluate(task: str) - Dict: 运行规划-执行-评估循环 planner create_planner() executor create_executor() evaluator create_evaluator() # 1. 规划 print( 规划阶段 ) plan_result planner.run(tasktask) steps [s.strip() for s in plan_result.split(\n) if s.strip()] print(f生成的计划步骤{steps}) context history [] # 2. 循环执行与评估 for i, step in enumerate(steps): print(f\n 执行步骤 {i1}: {step} ) # 执行 execution_result executor.run(stepstep, contextcontext) print(f执行结果\n{execution_result[:500]}...) # 截断显示 # 评估 evaluation_result evaluator.run(stepstep, resultexecution_result) print(f评估结果{evaluation_result}) history.append({ step: step, result: execution_result, evaluation: evaluation_result }) # 如果评估不通过可以选择重试、跳过或终止此处简化为继续 if 不通过 in evaluation_result: print(f警告步骤 {i1} 评估未通过但将继续下一步骤。) # 更新上下文供后续步骤使用 context f\n步骤 {i1} ({step}) 的结果{execution_result}\n return {task: task, plan: steps, history: history} if __name__ __main__: task_description 分析泰坦尼克号数据集计算不同舱位的生存率并可视化展示。 final_report run_plan_execute_evaluate(task_description) print(\n 任务完成 ) print(f原始任务{final_report[task]}) print(f共执行了 {len(final_report[history])} 个步骤。)这个示例展示了如何使用LangChain的链Chain来模块化循环中的各个角色规划、执行、评估使流程更清晰、易于扩展。6. 常见问题与排查思路在实现和应用循环工程时你可能会遇到以下典型问题问题现象可能原因排查与解决思路循环陷入死循环无限迭代1. 评估标准模糊或永远无法满足。2. 修正器未能有效改进输出。3. 反馈信息质量差无法指导修正。1.设定明确的终止条件如最大迭代次数、评估分数阈值、关键指标达成。2.引入随机性或多样性在修正时增加temperature或提供多个修正方向。3.改进评估提示让评估器提供更具体、可操作的反馈而不仅仅是“不好”。输出质量逐轮下降1. 修正过程过度拟合了上一轮的反馈丢失了原始目标。2. 上下文过长导致模型遗忘早期指令。1.在修正提示中重申核心目标每次修正时都附带原始用户请求。2.实施“精英保留”策略记录历史最佳输出在质量下降时回退。3.管理上下文长度对长对话进行摘要或只保留最近几轮的关键信息。API调用成本过高或速度慢1. 循环轮次过多。2. 每次调用使用的模型过大或提示词过长。1.优化循环逻辑尽早判断是否可能成功设置更严格的早期终止条件。2.使用更小的模型进行评估评估任务通常比生成任务简单可用更便宜、更快的模型如GPT-3.5-Turbo。3.缓存中间结果对相同的子任务结果进行缓存避免重复计算。评估结果不稳定时而过时而不过1. 评估提示词存在歧义。2. LLM本身评估具有随机性即使temperature0。1.标准化评估输出要求评估器输出结构化结果如JSON{pass: true, score: 85, reason: ...}。2.采用多数投票或共识机制让多个评估器或同一评估器多次调用对同一结果进行评估取多数意见。3.结合规则评估对于可量化的标准如代码是否有语法错误使用规则系统如调用pylint而非LLM。流程复杂难以调试1. 循环逻辑和状态管理代码混乱。2. 中间结果难以追踪。1.采用状态机或工作流引擎使用像LangChain、Prefect这样的框架来管理流程。2.加强日志记录详细记录每轮的输入、输出、评估结果和内部状态。3.实现可视化监控将循环状态输出到控制台或日志文件便于跟踪。7. 最佳实践与工程建议将循环工程应用于生产环境或严肃项目时请遵循以下最佳实践7.1 设计稳健的评估器评估器是循环的“大脑”其质量决定循环的成败。多维度评估不要只用一个“通过/不通过”标准。可以评估相关性、正确性、完整性、风格、安全性等多个维度并加权计算总分。结合规则与模型对于语法检查、格式验证等明确规则使用程序化检查对于创意、逻辑等模糊标准使用LLM评估。评估器也需要测试用一批已知好坏的结果来测试你的评估器确保其判断与人类专家基本一致。7.2 管理上下文与状态保持上下文简洁相关随着轮次增加提示词会越来越长。定期对历史对话进行摘要只保留对当前步骤最关键的信息。明确状态存储使用字典、数据库或专门的状态管理对象来清晰存储每一轮的计划、执行结果、评估反馈等。设计回滚机制当某一轮修正导致结果严重偏离时应能回退到上一轮或历史最佳状态。7.3 控制成本与延迟设置预算上限根据任务重要性设定最大API调用次数或最大token消耗预算。异步与并行如果循环中的某些步骤不依赖前序结果如进化算法中的个体评估可以考虑并行执行以降低延迟。使用轻量级模型在循环内部区分“思考型”任务需要强大模型和“执行型”任务可用较小模型合理分配资源。7.4 确保安全与可控内容安全过滤在评估和修正环节加入对生成内容的安全性检查如防止生成有害信息、偏见内容、代码漏洞。人工审核节点在关键决策点如最终发布前设置“人工审核”步骤确保人类始终拥有最终控制权。可解释性与审计记录完整的循环日志包括每轮的提示词、响应、评估原因便于事后审计和问题排查。7.5 从简单开始逐步复杂化不要一开始就设计一个包含十几种状态、几十个步骤的超级循环。先实现一个最小可行循环MVC例如只有生成和一次修正。验证核心逻辑确保这个简单循环能在你的目标问题上产生比单次提示更好的结果。逐步添加组件加入更复杂的评估、多步规划、外部工具调用等。持续测试与迭代用一批代表性任务测试你的循环根据结果调整提示词、流程和参数。循环工程不是要完全取代提示词工程而是将其提升到一个系统化、自动化的新层次。它要求开发者从编写“聪明的指令”转向设计“聪明的流程”。通过将人类对任务的分解、检查和修正能力编码到循环中我们能够更可靠地利用大模型解决那些单次交互无法搞定的复杂问题。