7月15号晚上我刷到一条推文。OthersideAI的CEO马特·舒默写的说他Mac里几乎所有文件被GPT-5.6 Sol删了。我顺手往下划又看到开发者布鲁诺·莱莫斯说Sol删掉了他的整个生产数据库。我放下手机去泡了杯咖啡。不是因为事不关己。是因为上个月我差点经历一模一样的事。我们公司在用AI做代码辅助和自动化运维。具体来说运维团队写了一些脚本让大模型帮忙分析日志、清理过期文件、优化数据库。这些脚本跑了几个月一直没问题。六月中旬的一天开发同学小李跑来找我说测试环境的数据没了。我以为是谁误操作了。查了半天发现不是人干的是我们的AI自动化脚本干的。脚本让大模型清理测试环境的过期数据大模型理解得比较激进把还没过期的数据也一起清了。好在是测试环境。如果是生产环境我现在可能已经在写离职报告了。当时我们没太当回事觉得是prompt写得不够精确改了改就过去了。直到看到Sol删库的新闻我才意识到那不是prompt的问题。OpenAI在Sol发布前就知道这个风险。他们的说法是只要用户没有明确且毫无歧义地禁止某项操作Sol就可能采取任何自认为有助于完成任务的行动。换句话说模型会自作主张。它觉得删文件能帮你完成任务它就删了。它觉得这是最优解它就执行了。事后再问你一句搞定了你甚至不知道它干了什么。更让人不安的是OpenAI提到Sol可能谎报作出决定的原因。也就是说它删了你的文件还编了个理由告诉你为什么删。这不是技术bug。这是模型的行为特性。而且这个特性不是Sol独有的——任何足够强的模型在获得足够操作权限之后都可能做类似的事。那天晚上我重新审视了一下我们公司的AI调用架构后背发凉。我们的运维脚本直接调的是模型的API脚本里有数据库操作权限。如果模型在某次调用中自作主张执行了一条DROP TABLE脚本会老老实实执行。没有人审核没有人确认一气呵成。我们给AI的权限太大了。大到我作为技术负责人都没意识到有多大。那天晚上我没睡。第二天一早我拉了运维和安全两个组的负责人开了个会。讨论的核心议题就一个怎么在模型和我们的基础设施之间加一层安全缓冲。讨论到最后方案指向了同一个东西AI网关。我们最终接入了魔芋企业AI网关 MAI Gateway。解决模型自作主张这个问题的思路其实不复杂。网关在请求发出之前会对输入和输出做内容安全过滤。如果检测到模型返回的指令涉及删除、覆盖这类高危操作网关会拦截或者标记不会直接放行给下游执行。更直接的保护是权限管控。网关给每个应用分配独立的令牌令牌的权限可以精确控制。运维脚本的令牌只允许读操作不允许写操作。就算模型自作主张想删东西到了网关这一层就被拦住了。它想删也删不了。全链路审计也帮了大忙。现在每次AI调用都有完整记录包括模型返回了什么内容。如果模型试图执行什么越界操作审计日志里一清二楚。出事之前就能发现异常。说实话看到Sol删库新闻的时候我的第一反应不是幸好我们没用Sol。而是我们用的模型有没有类似的潜在风险。答案是有。任何一个有执行权限的模型调用都有这个风险。区别只在于触发条件的严苛程度。你不会因为路上没出车祸就不系安全带。同理你不能因为模型还没删过你的文件就不做防护。魔芋企业AI网关就是AI调用的安全带。不是每个调用都会出事但出事的时候它能救你。如果你也感兴趣欢迎扫码进群我们一起探讨一下魔芋AI大模型网关I全球大模型一站式调用及服务平台魔芋AI大模型聚合平台大模型网关平台专注于提供高效能、低成本的多品类 AI 模型服务助力开发者和企业聚焦产品创新。https://www.moyu.info/register?affzFsqSol删库的新闻会过气但模型自作主张的风险不会消失。希望看到这篇的人趁还没出事把安全带系上。