WebSwarm:面向深度+广度混合网页搜索的递归多智能体编排框架

📅 2026/7/12 11:05:33
WebSwarm:面向深度+广度混合网页搜索的递归多智能体编排框架
WebSwarm面向深度广度混合网页搜索的递归多智能体编排框架论文原网页链接https://arxiv.org/html/2607.08662v1arXiv编号arXiv:2607.08662 [cs.CL]发布时间2026-07-09开源仓库https://github.com/songxiaoshuai/WebSwarm作者宋晓帅、张连城、赵康之通讯、朱玉涛、王中原、董冠廷、杨景涵、李翰、盖坤、文继荣、窦志成实习单位快手科技通讯邮箱kangzhi.zhaooutlook摘要基于大语言模型LLM的网页搜索智能体正在把信息检索任务从简单事实问答升级为深度调研类复杂任务。传统单ReAct智能体受限于单条长轨迹与有限上下文窗口无法同时兼顾搜索深度与信息覆盖广度。现有多智能体方案虽通过并行执行提升覆盖度但在递归分层能力、协作自适应、证据驱动任务拆解三方面存在明显短板。本文提出WebSwarm渐进式递归委派多智能体框架在推理过程同步完成任务拆解、递归拓展、多智能体协同调度。系统动态实例化搜索节点智能体每个节点绑定本地子目标与专属搜索模式节点可自主完成子任务或递归委派子智能体并行/串行执行子任务完成后向上汇总证据上层智能体根据返回结果决定继续拓展、修正或终止搜索。为避免盲目递归拆分WebSwarm引入两类引导信号1网页结构探测智能体预扫描网页信息分布指导节点拓展维度2同源兄弟节点间复用历史搜索流程经验。本文在BrowseComp-Plus、WideSearch、DeepWideSearch、GISA四大网页检索基准完成完整实验结果证明WebSwarm在纯深度、纯广度、深度广度交织三类任务上全面超越单智能体ReAct与主流多智能体基线。通过消融实验、任务难度分层分析、工具开销统计、跨模型泛化测试完整验证框架有效性为长时序检索多智能体设计提供可落地设计思路。三大核心贡献提出渐进递归委派架构将本地子目标与搜索模式绑定生成搜索节点一体化实现任务拆解、分层拓展、多智能体协同设计网页结构探测引导递归拆分、同源子任务经验复用两套互补优化机制降低工具调用冗余、提升子智能体检索可靠性在四大标准检索基准开展大规模对照、消融、泛化实验完整验证WebSwarm在复杂网页调研任务上的性能优势。1 引言1.1 智能检索发展现状LLM驱动网页智能体可自主完成多轮搜索、网页精读支撑科研级深度调研任务分为深度检索多跳约束、隐藏实体推理与广度检索批量实体属性结构化采集两类现实任务大量存在二者嵌套交织的混合场景。现有ReAct单智能体仅维持单条线性推理轨迹任务深度、宽度提升后性能断崖式下滑近年多智能体方案通过并行子任务提升覆盖但普遍存在三大固有缺陷递归分层能力弱仅能在根节点一次性拆解任务多层嵌套需求只能塞入单个子智能体长轨迹退化为单智能体模式协作模式固定全局统一并行/串行调度无法根据子任务瓶颈实体枚举/多跳推理自适应切换协同方式拆解脱离网页信息分布仅依靠query字面语义拆分忽略真实网页信息集中/分散分布特征造成大量冗余检索、证据聚合困难。1.2 WebSwarm核心思路区别于执行前静态任务拆分、全局固定协同的传统多智能体WebSwarm采用证据驱动渐进递归设计根节点接收原始用户任务动态生成搜索节点每个节点绑定子目标专属搜索模式atom/deep/wide/entity_collect节点可直接调用网页工具或递归委派一批子智能体并行/串行执行子任务结果向上回流作为上层决策依据增设网页探测智能体预分析信息分布指导拆分维度同类兄弟节点复用检索经验减少重复试错四大搜索模式匹配四类任务瓶颈自动适配深度推理、批量采集、实体枚举、简单事实查询不同场景。1.3 论文整体结构第2章梳理相关工作第3章完整定义WebSwarm递归委派架构、搜索模式、双引导优化机制第4章介绍评测基准、基线、完整实验结果主实验、消融、难度分层、跨模型泛化第5章分析框架局限性第6章总结附录包含伪代码、工具接口、完整实验脚本、案例流程。2 相关工作2.1 单智能体检索范式ReAct是主流单轮推理工具框架在单一上下文内完成搜索、精读、推理但长时序深度/广度任务上下文溢出、推理漂移严重是本文主要对比基线。2.2 多智能体检索系统Swarm-Agent协调器动态创建子智能体但仅根节点一层拆解无递归分层Flash-Searcher基于依赖DAG组织子任务缺少自适应协作模式切换Table-as-Search以表格填充作为全局状态仅面向结构化广度任务不支持深度推理InfoSeeker三层主-管理-工人分层全局统一调度策略ROMA递归元智能体但无网页信息感知与经验复用机制。现有方案均缺少模式自适应递归拆分网页分布感知子任务经验复用三位一体设计。2.3 检索优化辅助技术网页结构分析类工作仅用于检索召回未嵌入多智能体任务拆分流程轨迹经验复用多为跨任务预训练技能本文限定同一任务同源兄弟节点内复用保证评测样本独立性深度调研框架MindSearch、WebThinker等单智能体线性流程无并行递归多节点调度。3 方法WebSwarm完整递归多智能体框架3.1 基础定义单智能体ReAct输入任务q0q_0q0​交替执行search(查询)、fetch(url)工具单条轨迹输出答案。WebSwarm核心推理过程动态构建递归委派树T(V,E)\mathcal{T}(\mathcal{V},\mathcal{E})T(V,E)每个节点vvv为独立子智能体携带本地目标qvq_vqv​、搜索模式mvm_vmv​边(u,v)(u,v)(u,v)代表父节点向子节点委派任务。节点完成后向上返回证据集合RvR_vRv​上层根据回流结果决定继续递归或聚合输出。3.2 四类标准化搜索模式M{atom,deep,wide,entity_collect}\mathcal{M}\{\textit{atom},\textit{deep},\textit{wide},\textit{entity\_collect}\}M{atom,deep,wide,entity_collect}atom原子事实查询基础单步检索对应简化ReAct用于单一确定事实快速查证deep深度推理模式串行搜索器校验器双循环多跳隐藏实体推理多条线索并行生成候选独立校验器逐条核对全部约束wide广度并行采集并行批量委派子节点采集实体属性结果统一合并去重支持嵌套deep/entity子节点entity_collect实体枚举模式多路不同视角并行检索候选实体合并、去重、低置信校验平衡召回率与精确率适配无固定实体集合场景。3.3 递归委派流程节点vvv根据当前子目标qvq_vqv​、已有证据RvR_vRv​判断是否需要拆分生成一组「子目标-模式」委派对Cv{(qi,mi)}i1nvC_{v}\{(q_{i},m_{i})\}_{i1}^{n_{v}}Cv​{(qi​,mi​)}i1nv​​每一组对应新建子节点执行完成后收集所有子结果合并至RvR_vRv​若证据充足执行聚合函数输出上层KaTeX parse error: Undefined control sequence: \textsc at position 7: r_{v}\̲t̲e̲x̲t̲s̲c̲{Aggregate}(q_{…采用自上而下委派自下而上证据回流交替循环任务拆解随检索证据逐步拓展无需提前固定完整DAG。3.4 两套引导优化机制3.4.1 网页结构探测Web-Probing广度类节点拆分前执行轻量化预检索输出网页信息分布提示hvh_vhv​KaTeX parse error: Undefined control sequence: \textsc at position 7: h_{v}\̲t̲e̲x̲t̲s̲c̲{WebProbing}(q_…提示包含信息集中/分散、组织维度时间/品牌/地点指导父节点选择拆分粒度信息集中在少量汇总页面减少并行节点优先页面内抽取信息按实体/时间分散沿对应维度批量委派子节点显著降低search/fetch工具调用总次数。3.4.2 同源子任务经验复用wide模式常生成一批同类实体采集子节点先执行少量侦察节点提取检索经验kvk_vkv​有效query模板、权威来源、无效检索路径注入剩余兄弟节点上下文避免重复试错抽取侦察节点轨迹τi\tau_iτi​KaTeX parse error: Undefined control sequence: \textsc at position 7: k_{v}\̲t̲e̲x̲t̲s̲c̲{ExtractExperie…剩余节点携带经验执行检索稳定提升Item-F1指标仅同一父节点下同源子任务复用不跨任务泄露信息保证评测公平性。3.5 WebSwarm推理完整伪代码# Algorithm 1 WebSwarm 推理主流程defWebSwarm(user_task):root_nodeCreateNode(local_objuser_task)final_ans,full_traceSolveNode(root,experienceNone)returnfinal_ansdefSolveNode(v,k):res_set[],full_trace[]whilenotIsComplete(v.local_obj,res_set):# 按需执行网页探测获取分布提示ifNeedProbe(v):web_hintWebProbing(v.local_obj)else:web_hintNone# 生成子任务委派集合child_delegationsDelegate(v.local_obj,v.mode,res_set,web_hint)# 侦察节点提取经验scout_subtasksSelectScout(child_delegations)scout_res,scout_tracesRunChildren(v,scout_subtasks,expNone)expExtractExperience(scout_traces)# 执行剩余子节点并注入经验rest_subtaskschild_delegations-scout_subtasks rest_res,rest_tracesRunChildren(v,rest_subtasks,exp)# 汇总子结果res_setscout_resrest_res full_tracescout_tracesrest_traces# 聚合当前节点全部证据向上返回agg_resultAggregate(v.local_obj,res_set)returnagg_result,full_tracedefRunChildren(parent,child_list,exp):all_res[],all_trace[]forsubtask,modeinchild_list:childCreateNode(subtask,mode)res,traceSolveNode(child,exp)all_res.append(res)all_tracetracereturnall_res,all_trace4 实验设置与结果4.1 评测基准BrowseComp-Plus纯深度隐藏实体推理指标ACC答案等价准确率随机采样200条样本WideSearch-EN批量实体结构化表格采集指标SR全表成功、Row-F1、Item-F1仅英文子集100条DeepWideSearch-EN深度推理广度采集嵌套混合任务表格类指标英文子集76条GISA通用多格式检索条目/集合/列表/表格配套EM、Set-F1、List-F1、Table-F1。4.2 基线方法单智能体ReActKimi-K2、Qwen3.5-35B、Qwen3-235B、GLM-4.5四基座多智能体Swarm-Agent、Flash-Searcher、Table-as-Search、InfoSeeker、ROMA统一工具接口Serper搜索API、Jina Reader网页精读API最大动作步数200。4.3 实验硬件与超参推理引擎SGLangGPUNVIDIA A800LLM超参temperature0.6top-p0.95top-k20重复惩罚1.0WebSwarm专属超参entity_collect并行路径3条每批同类子任务侦察节点数量2个。4.4 主实验完整结果GLM-4.5基座方法BrowseComp-Plus ACCWideSearchDeepWideSearchGISA综合得分SRItem F1SRItem F1ReAct50.504.0064.613.9546.6355.54Swarm-Agent64.506.0068.791.3251.4157.05Flash-Searcher54.005.0068.685.2650.0054.22Table-as-Search62.506.0069.443.9554.9658.14ROMA42.505.0067.192.6350.5657.57InfoSeeker59.504.0071.912.6355.1058.99WebSwarm68.00(17.5)7.00(3)74.37(9.76)6.58(2.63)58.40(11.77)62.30(6.76)核心结论纯深度任务BrowseComp-PlusWebSwarm相比ReAct提升17.5个点深度串行校验模式显著提升多跳约束推理准确率纯广度任务WideSearchItem-F1提升9.76网页探测减少冗余检索经验复用提升实体采集精度深度广度混合DeepWideSearchItem-F1提升11.77递归嵌套架构适配交替推理采集流程通用混合GISA基准综合指标全面领先复杂长尾任务增益最突出。4.5 消融实验消融1递归架构与搜索模式变体BrowseComp ACCWideSearch Item F1DeepWide Item F1WebSwarm完整架构68.0074.3758.40移除递归仅根节点拆分63.5068.3855.79全部强制wide模式63.0072.0155.87全部强制deep模式67.5069.9454.51结论递归分层与任务匹配的搜索模式缺一不可单一模式无法覆盖全部检索场景。消融2网页探测 / 经验复用机制| 变体 | WideSearch Item F1 | 平均工具调用次数 | DeepWide Item F1 | 平均工具调用次数 || ---- | ---- | ---- | ---- || 完整WebSwarm | 74.37 | 137.03 | 58.40 | 203.73 || 移除Web-Probing | 74.90 | 239.90 | 58.93 | 331.39 || 移除经验复用 | 71.20 | 132.57 | 55.48 | 63.2 |结论网页探测不明显降低精度但大幅减少搜索/精读调用开销经验复用直接提升实体采集指标二者互补。4.6 任务难度分层分析以ReAct基线效果划分Easy/Mid/Hard三级简单样本WebSwarm小幅领先高难度长尾样本优势爆发BrowseComp-Hard基线0分WebSwarm达到35.7WideSearch-Hard从24.5提升至55.8资源自适应简单任务控制工具开销复杂任务自动增加检索预算不会统一消耗过量算力。4.7 跨基座泛化实验基座方法BrowseComp ACCWideSearch Item F1DeepWide Item F1Qwen3-32BReAct12.0029.1120.53Qwen3-32BWebSwarm19.5034.4725.54Qwen3.5-35BReAct56.5064.8252.46Qwen3.5-35BWebSwarm61.0075.9158.34结论无论强弱基座WebSwarm均可稳定提升检索性能弱模型依靠分层递归补充推理结构强模型通过探测经验复用进一步压缩冗余检索。5 局限性与未来拓展5.1 现有局限仅推理时调度优化未做多智能体离线训练节点拆分能力完全依赖基座LLM原生推理相比单ReActLLM与网页工具调用总量更高推理延迟、算力开销更大仅面向纯文本网页检索未支持图像、视频多模态网页信息处理。5.2 未来工作基于检索轨迹离线训练递归委派、模式选择策略拓展多模态网页探测与多模态子节点检索增加动态事件驱动的自适应侦察节点数量调度。6 结论本文提出WebSwarm渐进式递归多智能体检索框架打破传统静态任务拆解、全局固定协同范式。通过「子目标-搜索模式」绑定动态生成递归节点搭配网页结构探测、同源子任务经验复用两套优化机制在深度、广度、混合检索四大基准上全面超越单/多智能体基线。消融、难度分层、跨模型实验完整验证各模块价值为长时序复杂调研类LLM多智能体系统提供标准化实现方案。资源下载汇总论文HTML原文https://arxiv.org/html/2607.08662v1论文PDFhttps://arxiv.org/pdf/2607.08662完整开源代码、实验复现脚本、基准处理工具https://github.com/songxiaoshuai/WebSwarm附录材料完整提示词模板、SGLang推理配置、四类任务完整案例、消融实验原始数据表附录附录A 完整提示词模板根智能体系统提示迭代拆解任务并分配对应搜索模式网页探测智能体提示分析网页信息组织分布输出拓展维度建议经验抽取提示从多条子任务轨迹提取通用检索模板、有效数据源、无效路径。附录B 工具接口完整配置Serper搜索API每次返回Top5结果输出标题/摘要/URL/时间Jina Reader精读API限制单页面80K tokenLLM根据任务定向摘要页面内容工具调用脚本存放于开源仓库tools/目录。附录C 四大完整任务案例BrowseComp深度推理多层search/verify循环定位隐藏人物WideSearch商品采集按品牌维度并行委派实体节点合并生成规格表格泰勒巡演时间线按巡演分支并行抓取场次时序汇总汽车制造商混合任务先deep识别厂商再wide批量采集车型参数。附录D 完整实验复现流程环境依赖SGLang、Serper/Jina API密钥、基准数据集启动命令仓库scripts/run_exp.py消融实验一键脚本ablation_run.sh指标计算脚本eval_metric.py支持ACC/F1/SR批量统计。