不止成功率面向攻防安全智能体的成本感知评测arXiv:2607.15263 [cs.CR] 2026-07-16开源可视化结果站点https://evals.frontier.security摘要现有安全智能体评测大多在充足推理预算下衡量攻防峰值能力聚焦漏洞挖掘、漏洞利用、CTF解题等指标。这类指标具备参考价值但脱离真实运维安全场景每一轮模型推理、工具调用、遥测查询、情报扩充接口均会产生资金与时间成本。本文从成本-收益权衡视角分别在攻击向Cybench基准、防御向Splunk BOTS v1安全运营SOC事件调查基准完成多模型对照评测。区别于单一最优成功率榜单本文固定不同成本阈值横向对比模型性能并将开销拆分为模型推理成本、外部工具调用成本两大维度。实验发现攻防智能体具备完全不同的算力缩放规律攻击类CTF任务性能随计算资源增加持续提升同等成本下开源缩放模型可逼近闭源顶尖商用大模型防御类SOC事件调查不存在线性收益任务效果不单纯依赖推理算力更取决于工具使用规范性、遥测日志检索策略、情报扩充接口的选择性调用。本文认为安全智能体基准评测应当同步衡量经济成本、业务适配度与任务成功率。基于成本感知的SOC原生评测能更清晰反映模型落地实用价值同时指出防御智能体现存优化短板。配套交互式可视化网站开放全部评测数据。关键词网络安全基准大语言智能体安全运营中心SOCCybenchBOTS成本感知评测1 引言当前安全大模型评测普遍采用充足Token预算测试峰值攻防能力例如各类CTF解题、漏洞挖掘、漏洞利用自动化任务Claude Mythos等评测方案均采用百万级Token上限、完整攻击者执行权限开展测试。该类评测可衡量模型攻击侧潜力但无法贴合真实安全运营场景。SOC分析师使用智能体时需管控检索、外部情报接口开销在有限预算内输出可落地事件分析结论。因此本文将成本作为攻防智能体统一对比维度通过固定预算阈值回答单位资金能换取多少任务能力。同时区分两类核心开销攻击CTF场景开销主要来自多轮推理、命令执行SOC防御场景开销包含模型推理、Splunk检索、威胁情报、WHOIS/VT等付费外部扩充接口。本文基于统一Inspect评测框架分别使用攻击基准Cybench、防御基准Splunk BOTS v1开展对照实验不输出单一排行榜而是给出不同模型、任务、成本上限、工具集下的完整运行工况。实验缩放结论Cybench场景中Claude Opus 4.8、DeepSeek v4 Flash存在明显算力提升空间GPT-5.5在低成本区间即可完成绝大多数题目BOTS v1防御场景算力提升收益微弱大量无节制工具调用反而降低得分。防御任务核心瓶颈并非推理算力而是规范的日志检索、选择性情报调用。核心贡献基于统一评测框架完成Cybench攻击、BOTS v1防御双场景多模型成本-收益对照配套预算余量分析量化增加开销带来的分数提升幅度针对SOC场景建立「模型Token付费工具」完整成本核算体系给出每千分对应开销指标通过无工具对照实验验证BOTS基准存在训练数据污染解读绝对得分时必须增设污染校验。2 相关工作2.1 通用安全大模型评测基准CyberSecEval 2/3覆盖提示注入、漏洞利用、社工攻击等风险与能力测试SecBench侧重安全领域问答但均缺少完整工具调用事件闭环与真实预算权衡场景。2.2 攻击向CTF智能体评测InterCode、InterCode-CTF、NYU CTF Bench、Cybench、CVE-Bench、BountyBench等标准化沙箱CTF/漏洞测试环境支持自动化工具调用。现有工作侧重峰值解题成功率本文创新点固定多档成本阈值量化算力边际收益。2.3 防御SOC事件分析基准SIABench、ExCyTIn-Bench、CyberDefenseBench聚焦告警分诊、多步骤威胁狩猎Splunk官方BOTS v1提供真实日志、计分体系、提示扣分机制。现有工作未区分模型与付费工具综合开销本文补充完整成本核算、固定预算横向对比。2.4 基准数据污染研究公开数据集极易被大模型训练集包含造成虚高评测分数。本文针对BOTS v1设计无工具、无前置上下文对照实验作为污染程度校验基准。3 评测整体设计全部实验基于Inspect AI评测框架统一采用ReAct智能体循环上下文自动压缩策略。上下文占用达到窗口90%时自动压缩优先厂商原生压缩接口无则使用摘要压缩。攻防任务仅切换可用工具集智能体不会感知预算上限仅评测框架统计并在超支时终止样本。模型调用渠道OpenAI、Anthropic直连API其余模型通过OpenRouter三服务商负载均衡取均价核算成本缓存命中不计新增开销。3.1 攻击基准CybenchCybench包含39道完整沙箱CTF题目覆盖密码学、Web漏洞、逆向、取证四大方向来自HackTheBox、GLACIER等赛事。任务目标提交XXX{}格式Flag大小写模糊匹配计分工具集bash、python、submit提交工具无额外付费接口约束单题目最多3次提交尝试3轮独立实验取平均正确率评测版本Inspect内置Hard高难度子集。3.2 防御基准BOTS v1Splunk官方开源SOC事件调查数据集包含Po1s0n1vy网页篡改、Cerberus勒索两大完整事件共31道计分题目剔除热身题总分10300分。计分规则答错解锁提示后续正确得分扣除提示分值未作答/持续答错得0分。可用工具清单免费Splunk工具日志发现、SPL检索、事件下钻付费外部情报Brave搜索0.005美元/次上限5、Whois历史预览0.0258美元/次、Whois完整档案1.29美元/次上限3免费辅助VirusTotal、DNS、实时WHOIS防护机制关键词过滤屏蔽网络公开解题Write-up防止信息泄露。评测设定为23道前置依赖题目提供历史事件上下文贴近真实分析师跟进场景3轮实验取平均分。3.3 拒绝响应统计规则文本API内容过滤两类拒绝统一统计智能输出无工具调用道歉类文本、服务商返回内容拦截即判定为拒绝。单样本仅允许1次拒绝触发直接终止本轮样本。Cybench拒绝样本直接记为解题失败BOTS v1拒绝不直接清零后续答对仍可获得对应分值仅作为辅助统计指标。3.4 完整成本核算体系表1 评测开销计价标准开销类别计价规则单样本上限大模型推理厂商API官方Token单价自定义成本上限bash/python0美元无限制Splunk检索/下钻0美元无限制Brave搜索0.005美元/请求最多5次Whois历史预览0.0258美元/请求最多3次Whois完整档案1.29美元/请求最多3次VirusTotal/DNS0美元无限制总开销模型推理费用全部付费外部接口调用费用不计服务器、存储、人工分析师成本Whois请求开启本地缓存但统计开销时仍按单次原价核算反映真实线上采购成本。评测框架支持为单道题目设置美元预算上限超支直接终止样本判定为解题失败。4 评测实验结果测试模型GPT-5.5 / GPT-5.6(Luna/Terra/Sol) / Claude Opus 4.8 / Claude Fable 5 / DeepSeek v4 Flash / DeepSeek v4 ProGPT与Claude高推理模式单独对比。4.1 攻击场景 Cybench 实验数据表2 Cybench高难度基准单样本2.1美元预算上限| 模型 | 成本上限 | 解题成功率 | 等效解出题目 | 拒绝样本数 | 总运行开销 | 单题平均成本 | 平均工具调用次数 || ---- | ---- | ---- | ---- | ---- | ---- | ---- || GPT-5.5 | $2.10 | 94.1% | 36.7 | 7/117 | $42.47 | $1.16 | 20.6 || DeepSeek v4 Flash | $2.10 | 86.4% | 33.7 | 0/117 | $48.88 | $1.45 | 144.7 || GPT-5.6 Luna | $2.10 | 79.5% | 31.0 | 10/117 | $40.66 | $1.31 | 34.4 || Claude Opus 4.8 | $2.10 | 76.2% | 29.7 | 5/117 | $94.58 | $3.18 | 23.8 || DeepSeek v4 Flash | $0.80 | 76.1% | 29.7 | 0/117 | $30.43 | $1.03 | 95.9 || GPT-5.6 Terra | $2.10 | 65.8% | 25.7 | 39/117 | $36.63 | $1.43 | 15.7 || DeepSeek v4 Pro | $0.75 | 43.9 | 17.1 | 0/114 | $64.58 | $3.78 | 21.3 || GPT-5.6 Sol | $2.10 | 9.4% | 3.7 | 106/117 | $1.55 | $0.42 | 1.4 || Claude Fable 5 | $2.10 | 0.0% | 0.0 | 117/117 | $1.64 | - | 0.0 |核心结论GPT-5.5在2.1美元预算内解题成功率最高单位题目成本最低DeepSeek v4 Flash算力缩放效应显著0.8美元上限76.1%放开至2.1美元提升10.3个百分点GPT-5.6 Sol、Claude Fable 5存在严重内容过滤拒绝几乎无法完成攻击任务攻击场景算力投入与解题成功率正相关更多沙箱执行、命令尝试可提高Flag获取概率。4.2 防御场景 BOTS v1 实验数据表3 BOTS v1完整智能体评测总分总分10300| 模型 | 成本上限 | 总得分 | 得分占比 | 二元正确率 | 拒绝样本 | 模型工具总开销 | 每千分成本 | 总工具调用 || ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- || Claude Opus 4.8 | $2.10 | 9666.7 | 93.9% | 96.8% | 2/93 | $28.80 | $2.98 | 603 || GPT-5.6 Terra | $2.10 | 9485.0 | 92.1% | 95.7% | 0/93 | $33.66 | $3.55 | 1567 || GPT-5.6 Sol | $2.10 | 9416.7 | 91.4% | 97.8% | 0/93 | $44.29 | $4.70 | 1357 || Claude Fable 5 | $2.10 | 9108.3 | 88.4% | 95.7% | 5/93 | $32.04 | $3.52 | 309 || GPT-5.6 Luna | $2.10 | 8625.0 | 83.7% | 93.5% | 0/93 | $29.66 | $3.44 | 1867 || GPT-5.5(高算力) | $2.10 | 8383.3 | 81.4% | 91.4% | 0/93 | $64.57 | $7.70 | 1580 || GPT-5.5 标准版 | $2.10 | 8345.0 | 81.0% | 90.3% | 0/93 | $56.42 | $6.76 | 1481 || DeepSeek v4 Pro | $2.10 | 8013.3 | 77.8% | 84.9% | 0/93 | $71.82 | $8.96 | 3363 || DeepSeek v4 Flash | $4.20 | 7610.0 | 73.9% | 81.7% | 0/93 | $39.29 | $5.16 | 4938 || DeepSeek v4 Flash | $2.10 | 7518.3 | 73.0% | 82.8% | 0/93 | $43.50 | $5.79 | 4450 |核心防御场景结论Claude Opus 4.8得分第一工具调用量仅603次远少于其他模型证明精简检索、精准情报调用是防御核心DeepSeek提升预算至4.2美元仅提升0.9%得分大量冗余Splunk检索、情报调用无法改善分析结论防御任务不存在算力线性收益工具使用规范性优先级高于推理Token规模。5 BOTS v1 数据集污染对照实验BOTS v1发布时间较早全网公开解题资料丰富模型训练集极易包含相关数据直接输出的高分无法代表真实线下事件分析能力。本文设计无工具对照组禁止所有Splunk、搜索、情报接口仅依靠模型固有知识答题。表4 污染校验对照| 模型 | 实验条件 | 总分占比 | 二元正确率 | 工具调用次数 || ---- | ---- | ---- | ---- || Claude Opus 4.8 | 完整智能体 | 93.9% | 96.8% | 603 || Claude Opus 4.8 | 无工具、保留前置上下文 | 74.8% | 77.4% | 0 || Claude Opus 4.8 | 无工具、仅题目文本 | 50.0% | 58.1% | 0 || GPT-5.5 标准版 | 完整智能体 | 81.0% | 90.3% | 1481 || GPT-5.5 | 无工具、保留前置上下文 | 62.1% | 74.2% | 0 || GPT-5.5 | 无工具、仅题目文本 | 54.9% | 71.0% |实验结论仅依靠模型预存知识即可拿到50%以上分数说明基准存在严重数据污染。直接对比原始绝对得分无参考价值必须搭配无工具、隔离上下文对照组才能客观衡量模型真实日志分析能力。BOTS仅适合作为评测框架不能直接作为模型能力排行榜。6 算力缩放规律对比采用回溯预算法将完整实验日志重新截断模拟0.8美元低成本上限对比同一条任务在高低预算下得分差值规避不同实验样本差异。表5 0.8美元→完整预算得分提升幅度95%配对自举区间模型Cybench分数提升BOTS v1分数提升GPT-5.52.6% [0.0,6.0]6.9% [1.6,13.6]Claude Opus 4.86月批次18.8% [10.3,29.1]2.6% [0.0,7.1]DeepSeek v4 Flash10.3% [4.3,17.1]0.0% [-0.0,0.0]DeepSeek v4 Pro0.0%4.0% [0.0,9.6]攻击侧Cybench缩放规律预算放开后解题分数提升显著Claude Opus提升18.8%、DeepSeek Flash提升10.3%GPT-5.5低成本区间已完成绝大多数题目提升幅度极小。攻击任务中更多命令、更多尝试能覆盖更多漏洞路径。防御侧BOTS缩放规律Claude Opus在低成本区间已完成核心日志检索放开预算收益仅2.6%DeepSeek Flash翻倍预算几乎无得分提升大量冗余Splunk检索无法定位关键威胁字段防御边际收益极低开销投入重点应当优化工具调用策略而非单纯增加推理资源。7 实验局限性实验为事后日志回溯分析未采用完全随机控制变量实验设计结论为观测性而非严格因果BOTS v仅覆盖Po1s0n1vy、Cerberus两类事件BOTS v2/v3更大规模云场景暂无完整多模型对照结论无法完全覆盖全部SOC业务BOTS实验单样本消息上限250轮DeepSeek高工具调用样本多次触发窗口截断压低最终得分自举区间仅描述本数据集样本分布不代表通用模型全局统计置信度仅核算API与付费情报开销未计入服务器、分析师人力等线下运维成本。8 制品与伦理说明全部实验基于沙箱隔离公开安全基准仅输出聚合统计指标不泄露漏洞利用、靶机密钥、API凭证等敏感内容开源评测数据仅包含标准化日志、题目文本无真实用户隐私数据。9 结论安全智能体评测需要贴合业务的成本感知体系攻击CTF、防御SOC两类任务算力缩放特性完全相反攻击任务提升推理与工具预算可稳定提高解题成功率DeepSeek、开源缩放模型可在可控成本下逼近闭源商用模型但GPT系列存在内容过滤拒绝大幅削弱攻击能力防御SOC任务算力投入无明显正向边际收益模型核心优势体现在精准日志检索、克制冗余情报调用Claude Opus在有限工具调用下取得最优得分公开SOC基准普遍存在训练数据污染解读绝对得分必须增设无工具对照实验不能直接作为落地选型依据。未来工作拓展BOTS v2/v3云安全数据集评测设计自适应工具路由策略降低防御场景付费情报开销面向红蓝对抗构建统一成本-收益评测标准库。附录附录A 评测实验时间戳记录所有Inspect评测日志UTC创建时间区分主表、回溯预算、对照实验样本来源详见原文附表6、7。附录B 不确定性自举计算方法采用有放回重采样计算95%置信区间Cybench重采样题目、BOTS重计分调查配对对比仅抽取两套实验共有的任务样本GPT-5.6、7月新版Claude未纳入早期缩放区间统计。附录C Cybench鲁棒性自举区间各模型0.8美元低成本上限、完整预算得分置信区间量化不同模型算力敏感度差异详见原文表8。附录D BOTS v1鲁棒性区间各模型总分95%自举置信区间验证Claude Opus相比其他模型得分优势具备统计显著性DeepSeek提升预算无显著收益详见原文表9。附录E BOTS v1前置上下文依赖关系列出31道计分题目前置事件依赖拓扑图实验为23道依赖题目补充历史调查上下文模拟真实分析师持续处置事件场景独立题目与依赖题目得分拆分对照见原文表10。