惊人发现网站隐藏指令可诱骗人工智能网站上的隐藏指令能诱使人工智能代理落入人类一眼就能识破的骗局。在对主要大语言模型LLM的测试中Zscaler 发现一些自主人工智能代理成为欺诈受害者凸显高端企业级代理易被低骗术蒙骗。模型测试抗诈骗能力差异明显Zscaler 研究各种形式的间接提示注入IPI陷阱发现许多模型中招一些较基础大语言模型表现比昂贵同类模型好。例如有 4 种模型“易受攻击”Llama3 - 3 - 70b - instruct、Llama3 - 2 - 90b - instruct、Gemini - 3 - flash 和 Gemini - 2.5 - pro另外 3 种模型被判定为“安全”Llama4 - maverick、Gemini - 3.1 - pro 和 Gemini - 3.1 - flash - lite。这似乎表明 Gemini - 2.5 - pro 的抗诈骗能力比 Gemini - 3.1 - flash - lite 弱。不过Digital 520 的首席顾问诺亚·肯尼Noah Kenney表示从这一发现不一定能得出有价值结论因为代理行为会随新数据输入和分析假设修正而改变。他指出“代理面临的风险在不断变化测试结果只代表某一个时间点”还称 Zscaler 试图证明一个数据不一定能支撑的观点。此外肯尼认为简单将模型分为“安全/易受攻击”过于片面没实际用处。IPI 陷阱多网站存在影响现实Zscaler 的完整博客文章指出许多自主代理容易受到 IPI 陷阱影响。该公司在多个网站上发现 IPI这些网站的隐藏指令旨在操纵人工智能代理行为。在对 26 种大语言模型的内部验证中有 4 种模型“未能采取适当行动”这“在现实世界中产生了可衡量的影响表明不同模型的易受攻击程度不同并且还取决于提示时提供给大语言模型的上下文”。文章还提到随着人工智能代理成为更常见的网络交互界面内容本身将成为更大的攻击面凸显人工智能是把双刃剑。专家观点结果意义重大问题令人担忧纽约市科技咨询公司 Tribeca Softtech 的首席战略官阿曼·马哈帕特拉Aman Mahapatra表示这些结果虽不意外但意义重大。报告中商业大语言模型出现失败情况令人担忧因为以往基于代理的人工智能安全模型假设模型级安全训练能降低此类攻击风险但 Zscaler 的数据是首个被广泛引用的公开证据。根本问题架构层面风险待解马哈帕特拉还表示Zscaler 所举例子危害相对较小若同样手段应用于有权限进行采购等操作的代理损失将不可同日而语。他指出大多数人工智能供应商已意识到当前人工智能代理面临巨大风险攻击面是架构层面的防御措施也必须从架构层面入手但企业级基于代理的人工智能在这方面的讨论仍滞后。处理差异人类与代理大不同Zscaler 的测试凸显了人工智能代理和人类处理信息方式的差异。人类会对意外指令持怀疑态度会注意到不相关任务中突然出现的支付请求而代理急于遵循结构化元数据若周围上下文将支付请求描述为程序必要步骤就会将其纳入执行计划。人类有合作关系、过往交互记忆和社会背景作为验证信号而代理只有上下文窗口内信息“上下文窗口如今已成为主要的攻击面”。传统挑战新风险涉及未及领域Info - Tech 研究集团的首席网络安全顾问弗里茨·让 - 路易斯Fritz Jean - Louis认为Zscaler 文章中描述的风险令人担忧因为这些风险涉及企业安全传统上未涉及的领域。基于代理的人工智能引入了新的信任边界将挑战转化为了内部威胁模式。那么如何有效应对人工智能代理面临的这些安全风险呢