同一个模型,换个执行框架效果差了近三成——Agent框架不是包装纸

📅 2026/7/18 21:17:37
同一个模型,换个执行框架效果差了近三成——Agent框架不是包装纸
你花了一样的API调费买了同一个模型但最后能完成多少任务——可能差出将近三成。这个数据来自衔远科技大观研究院7月份发布的一篇论文叫EnterpriseClawBench。他们把AI从传统考试benchmark选择题、问答评分搬进了真实企业的办公室——852个真实工作会话中抽取的任务覆盖研发、销售、市场、HR、财务、运营、产品、管理这些岗位。然后拿不同模型不同Agent框架的组合去跑看谁能把活儿干完。论文里有一个结果特别值得单独拎出来说。同一个模型配不同的Agent框架在120个Lite评测任务上的得分最低的一组0.458最高的到了0.62-0.64区间。什么意思呢模型没变API价格没变但套上不同的执行层实际能干完的活差了18个百分点。这18个百分点你一分钱没少花。API调费照付Token照烧但产出打了七折。为什么差距有这么大Agent框架看着像一层壳——把模型接进来让它能读文件、调工具、写交付物。但这层壳决定了模型在实际任务里能不能真正用起来。论文里提到几个关键变量工具调用的精准度、文件读写路径是否健壮、多步任务出错后的修复能力、权限控制和执行链路的长度。举个例子你要Agent根据会议录音和项目群聊天记录写一份日报。这不是听懂然后写这么简单——Agent要先读多份文件录音文字版、聊天记录截屏、Excel进展表理解不同文件之间的上下文关系再按日报格式生成交付物。如果框架的读文件环节出了问题——比如路径写死导致找不到附件或者对异构文件PDF/Excel/图片/音频转文字的处理顺序不当——那模型再强也没用它在第一步就卡住了。所以框架不是在包装模型是在重塑模型能做什么。这跟你的关系是什么如果你在公司里采购AI工具大概率拿到的是供应商报的底层模型参数用了哪个模型、API价格多少、benchmark跑分多高。这是2024年大家关注的维度。但EnterpriseClawBench这组数据提醒了一个被忽略的维度同一个模型套不同框架的效果能差出一截。你买的不只是一个模型是一整套执行系统。而这套执行系统好不好用在API价格表上看不出来在模型跑分榜上也看不出来。如果选模型像买车——大家都知道不能只看发动机参数还要看变速箱、悬挂、车机系统。Agent框架就是AI这辆车的变速箱。发动机马力一样变速箱不行照样跑不起来。论文本身的数据也很诚实即使是当前最强的组合Codex GPT-5.5在这120个真实企业任务上也只拿了0.663分。真实企业任务远比公开benchmark难——因为真实任务不是回答一个问题而是读文件→理解上下文→调工具→生成交付物→保留证据的多环节复合链条任何一环断了结果就不可用。这个分数本身不是重点重点是如果你只用benchmark分数选模型你花出去的钱买到的能力和实际拿到手的差距就藏在这0.663和你的实际场景之间。最后说一句框架差距这18个百分点没什么玄学。它衡量的是同一个大脑身体好不好用。API价格降了再降模型跑分越刷越高——但如果差的那层执行壳没人关注你花的AI预算里可能有相当一部分是在为执行损耗买单。数据来源注释EnterpriseClawBench论文https://huggingface.co/papers/2606.23654代码仓库https://github.com/FrontisAI/EnterpriseClawBench论文登Hugging Face Daily Papers日榜第二2026年7月852个任务基于2026年3-5月真实企业内部Agent使用记录构建120个Lite任务子集经人工审计