AI Agent与人类协作:人机回环(Human-in-the-Loop)设计模式

📅 2026/7/2 20:03:21
AI Agent与人类协作:人机回环(Human-in-the-Loop)设计模式
AI Agent与人类协作:人机回环(Human-in-the-Loop)设计模式当AI Agentä»Žå®žéªŒå®¤èµ°å‘ç”Ÿäº§çŽ¯å¢ƒï¼Œä¸€ä¸ªæ ¸å¿ƒé—®é¢˜æµ®å‡ºæ°´é¢ï¼šå¦‚ä½•è®©å®ƒåœ¨è‡ªä¸»æ‰§è¡Œä¸Žäººç±»ç›‘ç£ä¹‹é—´æ‰¾åˆ°æœ€ä½³å¹³è¡¡ç‚¹ï¼Ÿäººæœºå›žçŽ¯ï¼ˆHuman-in-the-Loop, HITLï¼‰è®¾è®¡æ¨¡å¼æ­£æ˜¯è§£å†³è¿™ä¸€é—®é¢˜çš„å ³é”®æ¡†æž¶ã€‚æœ¬æ–‡å°†ä»Žå·¥ç¨‹å®žè·µè§’åº¦ï¼Œæ·±å ¥æŽ¢è®¨ä½•æ—¶éœ€è¦äººç±»ä»‹å ¥ã€å¦‚ä½•è®¾è®¡ä¸­æ–­ç‚¹ã€æž„å»ºä¿¡ä»»æœºåˆ¶ï¼Œä»¥åŠå®žçŽ°æ¸è¿›å¼è‡ªåŠ¨åŒ–çš„å®Œæ•´è·¯å¾„ã€‚ä¸€ã€ä¸ºä»€ä¹ˆéœ€è¦äººæœºå›žçŽ¯AI Agentçš„èƒ½åŠ›è¾¹ç•Œæ­£åœ¨å¿«é€Ÿæ‰©å±•ï¼Œä½†å®Œå ¨è‡ªä¸»çš„Agentåœ¨ç”Ÿäº§çŽ¯å¢ƒä¸­ä»é¢ä¸´è¯¸å¤šæŒ‘æˆ˜ï¼šå†³ç­–é£Žé™©ï¼šé«˜ä»·å€¼å†³ç­–ï¼ˆå¦‚åŒ»ç–—è¯Šæ–­ã€é‡‘èžäº¤æ˜“ï¼‰éœ€è¦äººç±»ä¸“å®¶æŠŠå ³æ•°æ®ç›²åŒºï¼šAgent可能遇到训练分布外的罕见场景责任归属:当Agent犯错时,需要明确的责任链条信任建立:用户对黑盒系统的不信任是采纳的最大障碍人机回环并非让Agentå˜ç¬¨ï¼Œè€Œæ˜¯é€šè¿‡ç»“æž„åŒ–çš„äººç±»ä»‹å ¥æœºåˆ¶ï¼Œè®©Agentåœ¨ä¸ç¡®å®šæ—¶ä¸»åŠ¨æ±‚åŠ©ï¼Œåœ¨å ³é”®èŠ‚ç‚¹ä¸»åŠ¨ç¡®è®¤ï¼Œæœ€ç»ˆå®žçŽ°æ¯”çº¯è‡ªä¸»æˆ–çº¯äººå·¥éƒ½æ›´ä¼˜çš„æ•´ä½“è¡¨çŽ°ã€‚ç ”ç©¶è¡¨æ˜Žï¼Œåˆç†è®¾è®¡çš„äººæœºå›žçŽ¯ç³»ç»Ÿå¯ä»¥å°†é”™è¯¯çŽ‡é™ä½Ž40%-60%ï¼ŒåŒæ—¶ä¿æŒæŽ¥è¿‘å ¨è‡ªåŠ¨ç³»ç»Ÿçš„æ•ˆçŽ‡ã€‚äºŒã€ä½•æ—¶éœ€è¦äººç±»ä»‹å ¥ï¼šå†³ç­–æ ‘æ¨¡åž‹ä¸æ˜¯æ¯ä¸ªå†³ç­–éƒ½éœ€è¦äººç±»å‚ä¸Žã€‚è¿‡åº¦çš„äººæœºäº¤äº’ä¼šé™ä½Žæ•ˆçŽ‡ï¼Œè€Œè¿‡å°‘çš„ä»‹å ¥åˆ™ä¼šç§¯ç´¯é£Žé™©ã€‚æˆ‘ä»¬ä½¿ç”¨ç½®ä¿¡åº¦-å½±å“çŸ©é˜µæ¥åˆ¤æ–­æ˜¯å¦éœ€è¦äººç±»ä»‹å ¥ï¼šfrom dataclasses import dataclass from enum import Enum class InterventionLevel(Enum): AUTO auto # å®Œå ¨è‡ªä¸» NOTIFY notify # 执行后通知 CONFIRM confirm # 执行前确认 ESCALATE escalate # 升级人类处理 dataclass class DecisionContext: confidence: float # Agent置信度 0-1 impact_score: float # 业务影响分 0-1 reversibility: bool # 是否可撤销 compliance_required: bool # 是否涉及合规 def determine_intervention_level(ctx: DecisionContext) - InterventionLevel: åŸºäºŽå†³ç­–ä¸Šä¸‹æ–‡åˆ¤æ–­ä»‹å ¥çº§åˆ« # 高影响 低置信度 å¿ é¡»å‡çº§ if ctx.impact_score 0.8 and ctx.confidence 0.7: return InterventionLevel.ESCALATE # 合规要求 å¿ é¡»ç¡®è®¤ if ctx.compliance_required: return InterventionLevel.CONFIRM # 高影响 中置信度 执行前确认 if ctx.impact_score 0.6 and ctx.confidence 0.85: return InterventionLevel.CONFIRM # 低置信度 不可逆 确认 if ctx.confidence 0.6 and not ctx.reversibility: return InterventionLevel.CONFIRM # 中置信度 执行后通知 if ctx.confidence 0.85: return InterventionLevel.NOTIFY # 高置信度 低影响 å®Œå ¨è‡ªä¸» return InterventionLevel.AUTO # 示例:不同场景下的决策 scenarios [ DecisionContext(0.95, 0.1, True, False), # 低影响邮件分类 → AUTO DecisionContext(0.5, 0.9, False, True), # 高影响合规操作 → ESCALATE DecisionContext(0.7, 0.5, False, False), # 中等置信度客户分群 → CONFIRM ] for s in scenarios: level determine_intervention_level(s) print(f置信度{s.confidence}, 影响{s.impact_score} → {level.value})è¿™ä¸ªæ¨¡åž‹çš„æ ¸å¿ƒæ€æƒ³æ˜¯ï¼šè®©Agentå­¦ä¼šçŸ¥é“è‡ªå·±ä¸çŸ¥é“ã€‚é€šè¿‡é‡åŒ–ç½®ä¿¡åº¦å’Œä¸šåŠ¡å½±å“ï¼Œç³»ç»Ÿå¯ä»¥åŠ¨æ€è°ƒæ•´äººç±»ä»‹å ¥çš„æ·±åº¦ã€‚ä¸‰ã€ä¸­æ–­ç‚¹è®¾è®¡ï¼šAgent的暂停与求助能力中断点(Breakpointï¼‰æ˜¯äººæœºå›žçŽ¯çš„ç‰©ç†é”šç‚¹ã€‚ä¸€ä¸ªè®¾è®¡è‰¯å¥½çš„ä¸­æ–­ç‚¹ç³»ç»Ÿéœ€è¦æ»¡è¶³ä¸‰ä¸ªæ¡ä»¶ï¼šå¯é ç½®ã€å¯æ¢å¤ã€æœ‰ä¸Šä¸‹æ–‡ã€‚3.1 中断点类型| 类型 | 触发条件 | 适用场景 | |------|----------|----------| | 置信度中断 | 模型输出置信度低于阈值 | 分类、推荐、预测任务 | | 异常中断 | 检测到数据或行为异常 | 数据漂移、异常访问 | | 规则中断 | 命中预定义的业务规则 | é‡‘é¢è¶ é™ã€æ•æ„Ÿæ“ä½œ | | 时间中断 | æ‰§è¡Œæ—¶é—´è¶ è¿‡é¢„æœŸ | å¤æ‚ä»»åŠ¡å¯èƒ½é™·å ¥å¾ªçŽ¯ | | 请求中断 | Agentä¸»åŠ¨è¯·æ±‚äººç±»è¾“å ¥ | ä¿¡æ¯ç¼ºå¤±ã€å¤šç›®æ ‡å†²çª |3.2 可恢复中断的实现