给AI喂经验,有可能越喂越笨:Skill注入实验暴露了一个被忽视的问题 📅 2026/7/19 6:09:01 有一个很自然的假设AI用得越多积累的经验越多就会越用越聪明。有点像带徒弟——第一遍他自己摸索你把好的做法总结出来教给他下次他应该做得更好。企业对AI也是这个期待花了成本跑完一轮任务能不能把跑出来的经验蒸馏一下以后直接复用让Agent越来越强EnterpriseClawBench论文里有一组实验专门测了这件事。简单说就是先从一批同类任务里提取Skill可以理解成这个任务怎么做比较好的经验包再把这个Skill注入Agent然后看它在没见过的任务上表现有没有提升。结果不是一面倒的好消息。有些Skill确实带来了正迁移——Agent学了之后做得更好。但也有些Skill造成了负迁移——学了之后反而比没学的时候更差。这个现象本身不算意外。任何有机器学习背景的人都会说迁移学习本来就可能出现负迁移。但放在企业AI的语境里它引出的问题比技术细节大得多。企业现在做的事情很多就是在给AI喂经验把专家的判断沉淀成规则、把最好的工作流固化下来、把历史优质案例做成参考库——这些都是某种形式的Skill注入。但EnterpriseClawBench的实验说明不是所有的经验沉淀都对Agent有帮助。有些最佳实践塞给AI之后效果反而倒退。为什么会这样论文没有展开讨论这个问题但一个合理的推测是Agent不是人它的学习本质上是对输入模式的匹配而不是理解。某些经验的模式可能和特定任务匹配但放在别的任务上反而干扰了它的判断路径——就像一套话术在某个客户身上管用换个客户反而让对方反感。这跟培训新人的逻辑有点像。给新人塞一堆前辈经验如果经验是经过验证的、适配当前场景的确实能加速上手。但如果经验是过时的、有特定场景前提但没人标注清楚、或者根本就是错的——那新人学了还不如不学。AI面临的问题更严重它不会主动质疑你喂给它的经验。你说这是最佳实践它就当最佳实践用。效果变差了它也不会告诉你你喂我的这段经验可能有问题。现在对AI的投入里有一块是沉淀经验以复用。EnterpriseClawBench这个实验的价值在于提醒这笔投入是有风险的。在没经过验证之前你沉淀下来的经验资产放进AI系统里可能不是资产是负债。数据来源EnterpriseClawBench论文https://huggingface.co/papers/2606.23654代码仓库https://github.com/FrontisAI/EnterpriseClawBench论文在评测体系中包含skill-transfer behavior维度Skill注入实验从同类任务蒸馏Skill注入Agent测试留出任务上的表现变化