大家读完觉得有帮助记得关注和点赞我们呈现 CAI 数据集这是一个通过开源 CAI [1] 智能体框架收集的为期十四个月的网络安全大语言模型轨迹语料库其构建是为了回应 PentestGPT [2] 的发现专家操作员轨迹而非基础模型能力才是网络安全大语言模型性能的瓶颈。CAI 数据集汇集了来自 123 个国家 16,768 个源 IP 的 230,935 个会话日志和 26,027,742 个用户提示使用了 4,187 个唯一的大语言模型标识符涉及 23,147 个目标域占用 18.07 TB 持久存储。其构成涵盖实操型36.4% 攻击性、20.1% 攻击者意图、27.5% 商业/集成、4.4% 防御性使得 CAI 数据集据我们所知是最大的已描述大语言模型驱动的黑客轨迹语料库。它以受众规模系列CAI Dataset10、CAI Dataset1k、CAI Dataset200k的形式向合作伙伴组织和选定客户发布。纵向来看该语料库是网络安全本身走向自动化的记录操作员例行地将实时凭证、生产环境主机名和持有者令牌粘贴到提示中明知他们的输入被记录——这是他们为保持竞争力而接受的权衡。跨行业汇总后这导致全球相当大比例的攻击性和防御性操作员上下文集中在少数前沿模型 API 提供商手中这是一个单一故障面其被攻破或出于政治动机的重新利用可能 cascading 为国家级和企业级规模的破坏。唯一既能保持生产力优势又能维护操作员端机密性的配置是在操作员信任边界内提供的本地私有化网络安全专用大语言模型——CAI 数据集正是为此目标而构建。图1CAI 数据集概览通过 CAI 框架收集的十四个月网络安全大语言模型轨迹对数刻度。左侧集群体量230,935 个会话日志、26,027,742 个用户提示、16,768 个源 IP、123 个国家跨越 428 天URL 引用中观察到 23,147 个唯一目标域。中间集群角色构成逐提示启发式分类攻击性和意图类别在构造上重叠第3节。右侧集群提供商构成归一化路由前缀后按发布提供商分组的模型调用八个提供商各自执行超过 100 万次调用。语料库占用 18.07 TB 持久存储。1 引言网络安全是一个大语言模型LLM已从演示走向日常实践的领域。渗透测试人员、蓝队和夺旗赛CTF参赛者现在依赖 LLM 驱动的工具来枚举主机、起草漏洞利用、分类警报和编写防御手册。工具而非基础模型已成为生产单元而工具会产生其每一步的轨迹。这些轨迹共同编码了人类操作员如何实际使用通用 LLM 在真实环境中进行安全工作。网络安全专用 LLM 的监督微调SFT受益于训练语料库的三个属性每个属性都基于后训练文献规模——生产级开源 SFT 发布在质量过滤后保留 10⁵ 到 10⁷ 条记录TÜLU 3 为 939k [3]OpenHermes-2.5 约 100 万 [4]Magpie-Pro-Filtered 为 300k [5]Llama-Nemotron 混合约 4000 万 [6]分布保真度——同等规模的头对头比较表明源分布比总规模更重要 [7]且合成的网络安全指令集相对于真实操作员数据表现出已记录的安全/性能权衡在 54,928 对合成混合上对 Llama-3.1-8B 进行 SFT 后提示注入鲁棒性从 0.95 降至 0.15 [8]以及基于工具的多轮结构——将 13 个智能体轨迹语料库统一到单一工具调用模式中在编码、网络、研究和智能体工具使用评估中比单源 SFT 平均提升 20pp [9]且特定于渗透测试的工作确认了该效果对网络安全工作流有效 [10]。迄今为止的公共网络安全数据集最多同时满足这些属性中的两个。基于知识的基准如 CyberMetric [11] 或 SecQA [12] 测试事实回忆但不反映操作员行为攻击性指令集如 CySecBench [13] 覆盖单个提示但缺乏轨迹上下文和工具输出源自 CVE/MITRE 源 [14] 的漏洞研究语料库覆盖模式而非推理。这些都无法捕捉实际操作员在 shell 循环中产生的迭代式、工具增强的、多主机轨迹。我们呈现 CAI 数据集一个作为多年计划明确目标而设计的语料库。其动机观察发表在 PentestGPT [2] 中LLM 在真实渗透测试工作流上的性能受限于缺乏专家操作员轨迹而非基础模型能力。后续的智能体框架 CAI [1] 从一开始就被设计为首先是数据收集器其次才是面向用户的 CLI。在十四个多月2025-03-22 至 2026-05-25428 天中它从 16,768 个不同源 IP 捕获了 230,935 个会话日志和 26,027,742 个用户提示总计 18.07 TB 持久存储。产生的信号是操作性的国家级演习、银行评估、公共和私有渗透测试、旗驱动的实验室工作、认证 API 和漏洞赏金狩猎、移动和逆向工程会话、机器人/IoT 目标、恢复先前工作的延续提示以及失败和成功的工具步骤。因此CAI 数据集既支持网络安全语言的 SFT也支持操作员如何在现实安全任务中选择模型、工具和基础设施的研究。这很重要因为最新的具备网络能力的前沿系统正越来越多地通过受限访问和不透明的后训练部署通常带有 RL 式优化而非开放、可重用的网络安全 SFT 混合。OpenAI 将 GPT-5.5-Cyber 描述为针对授权防御工作流的有限预览、更宽松的访问模式同时指出初始的网络许可预览主要涉及访问行为而非统一更高的网络评估性能 [15]。RL 可以在没有人工编写轨迹的情况下激发强大的推理能力正如 DeepSeek-R1-Zero 所展示的但同一篇论文报告了可读性、语言混合和更广泛任务限制需要多阶段流水线配合拒绝采样、监督微调和 RL [16]。网络安全需要那个监督层它提供了真实目标、工具、工件、失败、安全边界和操作员修正的分布而这些是奖励函数单独无法指定的。受限且仅远程访问在操作上也与相当大比例的网络安全工作不兼容后者运行在机密、物理隔离或合同约定的网络隔离环境中因此私有本地模型仍然是未来网络安全操作的承重蓝图它们只能在使用捕获操作员分布的语料库上训练——而 CAI 数据集正是要提供这种分布。贡献。 CAI 数据集据我们所知是最大的已描述 LLM 驱动的网络安全轨迹语料库230,935 个会话日志、26,027,742 个用户提示、123 个国家 16,768 个源 IP、4,187 个唯一 LLM 标识符、428 天、18.07 TB 持久存储以及针对 23,147 个唯一目标域的 683,606 个 URL 引用。第 2 节将 CAI 数据集定位于先前网络安全训练数据第 3 节描述收集流水线、模式、编校策略和汇总统计第 4 节概述下游用途第 5 节涵盖局限性、双重用途考量和合作伙伴/客户访问政策。2 相关工作我们将 CAI 数据集定位于四个活跃的先前工作方向网络安全特定语料库和基准、网络安全专用基础模型、开源通用 SFT 语料库谱系定义当前最佳实践以及智能体轨迹 SFT与我们格式最接近的方法论先例。2.1 网络安全特定语料库和基准用于 LLM 的公共网络安全数据集聚集为三个子族。知识基准CyberMetric [11]、SecQA [12]、CTIBench [17]测试针对标准、CVE 和威胁情报分类法的事实回忆它们对评估有用但不提供操作员行为、工具输出或适用于 SFT 的多轮结构。指令提示集合CySecBench [13]、CyberLLMInstruct [8]、Heimdall [18]提供约 10⁴ 个针对安全对齐或防御指令调优的单轮提示最近的 CyberLLMInstruct 发布54,928 对伪恶意指令-响应对记录了任何网络安全 SFT 工作都必须解决的明确安全/性能权衡。基准框架如 Cybench [19]、D-CIPHER [20] 和 CTFTiny / CTFJudge [21] 为 CTF 式挑战构建多智能体评估环境通常使用 LLM-as-judge 评分它们提供评估工件而非训练轨迹。SecKnowledge / CyberPal.AI [22] 在规模上是最接近的类似物从策划的网络安全种子派生的合成指令调优语料库。CAI 数据集在三个维度上与所有这些不同它是轨迹级别而非提示级别是从真实操作员行为而非合成收集的且规模大两到四个数量级。2.2 网络安全专用基础模型网络安全专用模型空间分布在三种新兴方案中我们按代表性已发布模型讨论每种。方案 1大规模持续预训练。 Foundation-Sec-8B [23, 24] 在约 51 亿个策划的网络安全 token 上通过四阶段流水线网络爬取、相关性过滤、MinHash 去重、质量过滤持续预训练 Llama-3.1-8B 基础模型并在网络特定任务上匹配 Llama-3.1-70B 和 GPT-4o-mini。Trend Micro 的 Llama-Primus-Base [25] 报告在 Primus-Seed 加上 Primus-FineWeb 上持续预训练后相对于同一 Llama-3.1-8B-Instruct 基础模型的聚合基准提升 15.88pp。在编码器方面SecureBERT 2.0 [26] 在 130 亿文本 token 加 5300 万代码 token 的网络安全内容上预训练 ModernBERT 骨干并在网络安全 NER、语义搜索和漏洞检测上达到 SOTACySecBERT [27] 是在 430 万网络安全文档上的早期 BERT-base 前身。资源高效的对比是 Salahuddin 等人 [28]他们仅使用 1.26 亿词的策划语料库将 Llama-3.3-70B-Instruct 基础模型推至 CTI-MCQ (0.718)、CyberMetric (0.933) 和 SecEval (0.864) 的 SOTA优于在约 20 倍数据上训练的更大专用模型。SecureFalcon [29] 证明相同方案可以蒸馏为 44–1.21 亿参数的分类器在 FormAI 上 94% 二元 / 92% 多类在边缘有用但作为通用助手不足。方案 2指令/偏好领域适应。 CyberPal.AI v1 [22] 在 SecKnowledge 专家驱动指令集上进行 SFT并在 SecKnowledge-Eval 上报告比基线平均提升高达 24pp。CyberPal-2.0 [30] 将其扩展到 4B–20B 家族在 SecKnowledge 2.0 中带有 CoT 和基于证据的推理其 20B 变体在 CTI 弱点映射上击败 GPT-4o、o1 和 o3-mini。Lily-Cybersecurity-7B [31] 是在 22k 手工制作的网络安全 QA 对集上对 Mistral-7B 进行 SFTZySec-7B [32] 是在 30 网络安全领域偏好集CIS、FedRAMP、PCI DSS、ATTCK上对 Zephyr-7B 进行 DPO 调优WhiteRabbitNeo / DeepHat [33, 34] 是参考非审查攻击性安全系列基于 Llama-2-13B/33B 和 Qwen2.5-Coder-7B。SEvenLLM [35] 是针对事件分析的双语指令调优类似物。产品化类似物包括 Google 的 SecLM 和 Sec-Gemini v1 [36]将 Mandiant 和 VirusTotal 基础与多步推理集成。方案 3RL / 推理蒸馏。 2025–2026 年的浪潮由 RL 训练和推理蒸馏的网络安全智能体主导。Pentest-R1 [10] 通过 SFT 加两个 GRPO 阶段在 §2.4 详细讨论的数据形态上达到 AutoPenBench 的 24.2% 和 Cybench 的 15.0%。Cyber-Zero [37] 通过人物驱动的 LLM 模拟从 CTF 题解合成智能体轨迹并将所得模型在 InterCode-CTF、NYU-CTF 和 Cybench 上训练至比基线绝对提升 13.1ppCTF-Dojo [38] 是可执行环境的后续工作。xOffense [39] 报告在 Qwen3-32B 上使用多智能体 shell 工具框架进行 SFT在 AutoPenBench 加 AI-Pentest-Benchmark 上达到 79.17% 子任务完成率Random-Crypto GRPO 系列 [40] 将 Llama-3.1-8B 在密码 CTF 上的 Pass8 从 0.35 提升至 0.88。PrivEsc-LLM [41] 在程序生成的 Linux 提权环境上分两阶段后训练 4B 本地模型在 1,000 条轨迹上进行 SFT然后 RLVR在 20 轮交互内对保留的 12 场景基准达到 95.8% 成功率在相同预算内距 Claude Opus 4.6 仅差 1.7pp。在较小智能体端Hackphyr [42] 在简单 NetSecGame 场景中达到 94% 胜率推理变体 Foundation-Sec-8B-Reasoning [43] 和 Llama-Primus-Reasoning [25] 直接将 DeepSeek-R1 式推理蒸馏应用于网络安全基础模型。Huang [44] 横跨方案 2 和 3比较了网络安全任务上的 SFT vs. LoRA vs. QLoRAYu 等人 [45] 通过多源语料库加 CTI-Bench 思维链蒸馏构建小型网络安全专家 LM。CAI 数据集的定位。 持续预训练语料库描述网络安全文本的样子指令/偏好集描述模型应回答哪些策划的网络安全问题RL 流水线针对狭窄的可验证奖励面旗捕获、漏洞利用成功进行优化。这三种方案本身都不提供操作员在多步工具增强参与中实际使用 LLM 的经验分布真实会话中出现的分类、失败命令、工具输出解释、补丁验证、范围边界讨论、良性业务上下文和操作员修复。当前前沿趋势从相反方向暴露了同样的差距。GPT-5.5-Cyber 表明受控访问、后训练或访问调优的前沿模型可以在漏洞发现和授权安全工作流上变得高度有能力 [15]但此类发布本身并不创建可重用的网络安全行为公共分布而 Foundation-Sec 明确报告网络安全训练数据的稀缺限制了采用 [23]。CyberLLMInstruct 还表明网络安全微调既改变能力也改变安全性需要明确缓解而非仅奖励乐观 [8]。CAI 数据集规模的数据集提供了三种方案之下缺失的基础持续预训练混合可以吸收操作员散文子集指令调优可以通过角色混合和目标指标元数据重新加权推理/RL 流水线可以将轨迹体用作专家演示和奖励基础。2.3 开源 SFT 语料库和后训练混合参考开源通用 SFT 发布是 TÜLU 3 [3]其 SFT 混合在四轴 GPT-4o LLM-as-judge 级联有用性、指令遵循、诚实性、真实性后保留 939,000 条记录随后是 DPO 和 RLVR 阶段。OpenHermes-2.5 [4] 提供 1,001,551 个多源对话SmolTalk [46] 提供约 110 万条针对小型 LLM 训练的记录。直接头对头比较 [7] 表明两个语料库在匹配训练下产生可测量的不同学生模型。Magpie [5] 证明 400 万条自合成指令通过质量和难度过滤至 300,000 条可以匹配更大的混合。NVIDIA 的 Llama-Nemotron [47] 整合了五阶段方案NAS、恢复预训练、SFT、RL、RLHF并公开发布其 4000 万样本的后训练混合 [6]该混合目前是最大的开源后训练语料库明确训练模型在推理开启和关闭模式间切换。Hermes 3 [48] 将 ChatML 格式与 Nous 风格的 tool call XML 信封整合用于工具增强的智能体 SFTQwen3 后训练发布 [49] 采用相同约定作为其默认工具调用模板。NVIDIA Front-Loading-Reasoning 研究 [50] 提供额外证据表明预训练中的推理数据稳定后续 SFT 并减少灾难性遗忘这一发现与任何 CAI 数据集驱动的 SFT 流水线直接相关。表1各语料库的训练数据集对比类别数据集记录数计量单位提示词等效是否含工具调用网络安全类§2.1​CTF-Dojo [38]486交互轨迹~2,430‡是PrivEsc-LLM [41]1,000交互轨迹~5,000‡是Random-Crypto [40]5,000任务5,000是Pentest-R1 [10]~14,000TCO元组~14,000是Heimdall [18]~21,000对话~21,000†否Lily-Cybersecurity [31]22,000问答对22,000否Cyber-Zero [37]9,464交互轨迹~47,320‡是CyberLLMInstruct [8]54,928指令-响应对54,928否SecKnowledge [22]~400,000指令-响应对~400,000否CAI数据集本工作​230,935​交互轨迹​26,027,742‡​是​智能体交互轨迹与工具调用类§2.4​ToolACE [51]~11,000交互轨迹~55,000‡是ToolMind [52]~360,000交互轨迹~1,800,000‡是ADP [9]1,300,000交互轨迹~13,100,000‡是通用开源监督微调类§2.3​Magpie filtered [5]300,000提示词300,000否DeepSeek-R1 SFT [16]800,000推理样本800,000否TÜLU 3 监督微调数据集 [3]939,000提示词939,000否OpenHermes-2.5 [4]1,001,551对话~1,001,551†否SmolTalk [46]~1,100,000提示词~1,100,000部分包含AM-R1-Distilled [53]1,400,000推理样本1,400,000否Llama-Nemotron [6]~40,000,000提示词~40,000,000部分包含众包对话类​LMSYS-Chat-1M [54]1,000,000对话~2,000,000‡否WildChat [55]~1,000,000对话~2,520,000‡否表 1 将本相关工作节中引用的训练数据集与 CAI 数据集放在单一规模轴上。纯评估基准SecQA、Cybench、CTIBench、CyberMetric、CySecBench、SWE-bench在正文中讨论但排除在表外它们提供用于评估的任务描述符而非用于训练的轨迹或指令将它们纳入训练数据集比较会混淆两种不同的工件类别。在网络安全训练数据集中CAI 数据集约为次大条目SecKnowledge约 40 万的 65 倍比网络安全智能体 SFT 语料库CTF-Dojo、PrivEsc-LLM、Pentest-R1、Cyber-Zero大三到四个数量级。智能体轨迹行ToolACE、ToolMind、ADP按记录形态工具增强多轮是最接近的方法论比较对象但按用户提示当量测量比 CAI 数据集小一到三个数量级。2.4 智能体轨迹 SFT 和工具使用语料库CAI 数据集最接近的方法论先例是近期关于智能体轨迹 SFT 的工作。SWE-bench [56] 为软件工程建立了轨迹语料库范式。ToolACE [51] 引入了大规模合成函数调用 SFT 数据集明确训练格式多样性每个工具调用在 26,507 个 API 池上渲染为 JSON、YAML、XML 或 Markdown其 Llama-3.1-8B-Instruct 微调ToolACE-8B是标准工具使用基线。ToolACE-R [57] 将其扩展为迭代精化并在 BFCL 和 API-Bank 上报告跨模板泛化。ToolMind [52] 将同一方向推向多轮推理增强的工具使用轨迹。智能体数据协议ADP[9] 是智能体轨迹标准化的里程碑它将 13 个异构轨迹语料库统一为一个记录模式动作联合 API-、Code- 和 Message-动作观察联合 Text 和 Web报告相对于单源 SFT 平均约 20pp 的提升例如 SWE-Bench 7B 从 0.4% 到 20.2%AgentBench-OS 从 3.5% 到 27.1%并提供将 ADP 记录重新渲染为目标分词器的聊天模板的转换器流水线。CodeAct [58] 提供正交杠杆将异构工具调用折叠到单一 Python 动作空间在 API-Bank 上比 JSON 工具调用成功率提升高达 20%将技能与信封解耦。PIPE 研究 [59] 是关键的批判性发现在 AgentBench 和 Agent-Gym 的 16 个环境中轨迹 SFT 大幅放大接口捷径训练后的智能体在最小接口重写下急剧退化而非轨迹训练的模型保持基本稳定。CAI 数据集的工具过拟合风险及缓解措施。 PIPE 发现是对 CAI 数据集消费者的直接警示在单一工具的轨迹上朴素地进行 SFT 的模型可能过拟合该工具的特定工具调用语法并对任何其他工具退化。两个因素减轻了我们所描述语料库的这一风险。首先近期收集已经是多工具的附录 A模式版本 v3 和 v4记录了 v4 行形态携带顶级 scaffold 字段2025–2026 年的日志由 CSI 发布工具、CAI CLI 以及通过同一代理路由的其他工具产生。因此最新数据不是 CAI 特定的。其次已发布的缓解措施足够成熟可以在消费端应用。我们推荐的方案借鉴 ADP [9]、ToolACE / ToolACE-R [51, 57] 和 CodeAct [58]包含三个步骤(i) 转换时将每个轨迹投影为 ADP 兼容的抽象动作记录并保留源工具作为来源元数据使文字信封永不烘焙到助手轮次中(ii) 训练时将每个记录重新渲染为每个样本的多个信封使用均匀采样OpenAI 工具调用 JSON、Hermes-3 tool call XML、Qwen3-Coder function... XML、CodeAct Python并混入 20–30% 非网络安全 ADP 源SWE-Gym、CodeActInstruct、Mind2Web以打破语料库特定先验(iii) 评估时在保留切片上应用 PIPE 式接口重写别名工具名、交换信封族、重新排序 kwargs并报告接口依赖性与任务成功率目标是在声称可移植性之前相对于原生工具结果偏差 5%。该方案使 CAI 数据集成为工具可移植网络安全模型的基础而非单一工具语料库。Pentest-R1 与预分解格式的成本。 此族中最接近的网络安全特定点是 Pentest-R1 [10]。其基础模型是 DeepSeek-R1-0528-Qwen3-8B其报告的精调前基线在 AutoPenBench 上为 3.0%在 Cybench 上为 7.5%无引导pass3。完整 Pentest-R1 模型通过顺序流水线达到 AutoPenBench 的 24.2% 和 Cybench 的 15.0%在约 14K 预分解的 Thought-Command-Observation 元组从 500 专家演练构建上进行阶段 1 SFT然后对相同元组进行 GRPO 离线 RL然后在 InterCode-CTF 中进行在线 RL。报告的消融实验对哪种技术贡献了什么具有启发性。仅在 TCO 元组上进行 SFT 使 AutoPenBench / Cybench 分数保持在基础模型的 3.0% / 7.5%即没有可测量的解题增益。单独的 GRPO 离线 RL 将模型提升至 9.1% / 12.5%。完整流水线SFT GRPO 离线 GRPO 在线达到 24.2% / 15.0%。对语料库设计论文的两个要点(i) SFT 在此数据形态上不是性能最高的制度但它是一个承重先决条件从完整流水线中移除它使 AutoPenBench 从 24.2% 降至 9.1%因此当在 GRPO 之前分层时SFT 在 AutoPenBench 上贡献 15.1pp在 Cybench 上贡献 2.5pp(ii) Pentest-R1 的记录将模式固定为 {initial prompt, steps [{thought, command, result}]}将 thought 和 command 字段从聊天体中提升出来。这种预分解将数据形态紧密耦合到一个工具调用表面现代指令调优基础模型奖励严格遵守原生 tool call{name,arguments}/tool call XML 信封在多步 CTF 交互中模板不匹配累积并消耗解题。CAI 数据集在数据形态层面解决这两个问题发布切片体保留带有原生工具调用信封的原始 messages[] 列表因此训练者选择分解而非继承一个且语料库在日志和提示方面比 Pentest-R1 演练集大约三到四个数量级。3 数据集3.1 收集与模式CAI [1] 是首个用于网络安全自动化的开源智能体框架既作为框架分发也作为 CLI 智能体分发遥测作为工具的一等子系统。每个会话发出一个每会话 JSONL 日志捕获模型请求、模型响应、工具调用、工具输出和助手消息并将其发送到我们的服务器公开和退出机制记录在项目 README 中。遥测默认启用因为 PentestGPT [2] 中识别的瓶颈是缺乏专家操作员轨迹。收集模型是行为性的我们记录真实操作员使用自己的提示针对自己的目标所做的工作。不注入提示不生成合成数据。2025–2026 年收集的轨迹跨越多个工具代次而非单一工具附录 A。CAI 免费分发给研究人员作为研究使用的替代支付我们要求研究社区贡献使用数据以帮助识别改进领域、了解框架在实际中的使用方式并优先考虑新功能。这种贡献正是使 CAI 数据集成为可能的原因而语料库反过来又作为检测精度改进、已发布发现和本节后面定义的数据集切片反馈到同一社区。CAI 还是欧盟资助研究计划的产出框架的使用相应地被框定为对该公共研究事业的贡献这是除专家操作员轨迹的技术稀缺性之外默认开启收集模式的第二个承重论据。数据收集本身的法律依据记录在第 5.3 节。一个会话日志是一个 JSONL 文件其行是有序的记录流会话开始信封、用户和助手消息以及携带请求模型、消息数组和提供商响应的完整上游聊天补全请求/响应对。工具结果和后续用户消息保留在同一文件中保留观察-行动-修正循环。语料库跨越四个磁盘模式版本在附录 A 中列举。发布切片。 切片遵循受众规模简写旨在作为连续系列CAI Dataset10、CAI Dataset1k 和 CAI Dataset200k。随着更多数据积累可能会发布更高记录数的进一步 CAI DatasetN 切片。访问仅限于合作伙伴组织和客户。在消费端应用的编校方案与驱动它的经验泄露面测量一起记录在第 3.7 节。3.2 体量与增长在撰写时语料库包含 230,935 个会话日志和 26,027,742 个用户提示跨越 428 天2025-03-22 至 2026-05-25总计 18.07 TB 持久存储。一个会话对应一个 JSONL 日志语料库是 230,935 个轨迹的集合而非单个连接流因此下游消费者可以在会话边界迭代、分片或采样。16,768 个不同源 IP 使用 4,187 个唯一 LLM 标识符。提示长度呈重尾分布全程以字符测量均值 625.4中位数 75标准差 41,252.2观察到的最长提示为 180,626,398 字符单次批量粘贴的多阶段规划上下文。中位数与均值之间的数量级差距是操作员工作流签名大多数提示是短 shell 循环指令但规划简报和延续上下文的长尾将均值推高。增长率与再训练节奏。 在收集窗口内语料库以平均每天约 540 个会话日志和 6 万用户提示的速度积累图 2 确认了近线性的累积轨迹和持续的每周节奏。按此速率每日增量约占当前语料库的 0.23%每周增量约 1.6%每月增量约 6.9%。对于将 CAI 数据集作为滚动训练语料库消耗的 SFT 流水线这建议每周再训练为自然节奏新数据增量超过百分之一足够大可测的分布偏移每日检查点保留给在线学习或快速反馈设置当消费者优先考虑稳定性而非新鲜度时每月再训练足够。图 3 额外分离了发布者团队的贡献与社区贡献并显示在 162,489 个命名用户会话中社区曲线在日志计数上以约 24 倍的优势主导团队曲线六个月的虚线投影将社区延伸至约 242k 日志而团队曲线保持平坦剩余约 68k root/未识别用户名会话不重新分配到两条曲线中见图标题。提示长度演变。 除了语料库规模单个提示的形态已随自动化需求和工具复杂度的增长而改变。更广泛文献中的两个趋势预测提示随时间变长智能体框架已将操作员工作流从单行 shell 循环指令转向带有嵌入式上下文的多步规划简报 [9, 58]且众包 LLM 语料库随用户习惯模型而表现出可测量的平均用户提示长度增长 [55]。CAI 数据集再现了两种趋势图 4 绘制了收集窗口内的每周平均提示长度显示平均长度从 v1/v2 CAI CLI 时代2025 年 3 月–8 月的约 150 字符漂移到 v3/v4 CSI 发布工具时代2025 年 9 月起的 400–1,300 字符范围。对最后 12 周拟合线性趋势给出每周平均长度增加约 5 字符的斜率将该趋势虚线延伸六个月预测到 2026 年 11 月每周平均约 780 字符这将使 CAI 数据集提示与 WildChat 平均提示用户端 295 token [55]处于同一数量级。周际方差较大受偶尔的批量粘贴会话主导但下限中位数未显示在整个窗口保持在 50–140 字符区间确认上升漂移在分布的尾部而非主体。3.3 角色、工具和攻击类别每个提示用四个启发式谓词分类。分布36.4% 匹配攻击性模式9,469,36220.1% 显示明确攻击者意图5,220,02827.5% 具有商业或集成价值7,144,9994.4% 为防御性1,152,054四个类别在构造上重叠。图 5 显示细分。顶级工具组合由网络级工具nc、nmap、curl和 Web 应用扫描器nikto、burp主导侦察和利用主导 MITRE 对齐的攻击类别分布表 2。表 3 报告了可验证 CTF 目标、多轮延续、生产 API / 漏洞赏金流量、移动和逆向工程工作、机器人/IoT 目标以及网络来源情报的语料库级证据三个最大的商业价值类别是 AI/ML2,130,065API 集成1,917,492数据管理1,620,997。3.4 时间和地理分布活动集中在欧洲工作日13:00–16:00 UTC周中达到峰值图 6非工作时间活动不可忽略。地理足迹跨越 123 个国家图 7表 4。欧洲占不同贡献者最大份额去除中心点后 85.7%次要集群在亚洲7.4%以印度、中国、越南、新加坡、日本为主和北美4.2%。11.4% 的源 IP1,838属于公共云和托管提供商反映来自临时云工作站、CI 运行器和远程攻击平台的使用大多数 37.8% 来自住宅或商业 ISP更能代表人工参与的 CTF 和漏洞赏金工作。这种分割对 SFT 下游相关云托管轨迹更可能是脚本化的多目标侦察住宅轨迹倾向于针对少量目标的交互式。3.5 模型组合语料库使用 4,187 个不同模型标识符这是我们所知的任何 LLM 轨迹语料库中最广泛的模型覆盖信号之一反映操作员在相同任务上常规进行 A/B 测试模型。在归一化路由前缀、区域标签、供应商代理和量化后缀后标识符折叠为少得多的规范模型。表 6 报告每个提供商内的顶级规范模型表 5 分离了日志中出现的高速度前沿时代标识符包括 GPT-5.5、Claude Opus 4-7 和 Gemini 3.1 命名空间。我们将其视为语料库观察到的标识符而非提供商发布年表因为路由器别名、预览标签和内部部署名称可能比公共发布页面变化更快。超出表项的长尾涵盖社区量化、本地 Ollama 变体、临时提供商路由和每个实验的微调qwen3-8b-grpo/pentestr1/onlinerl 变体、alias1-fp16/int4 变体等。3.6 URL / 目标足迹语料库引用 683,606 个 URL涉及 23,147 个唯一域。附录 B表 8使用关键词规则分类器按领域分组域优先考虑高置信度正则表达式匹配私有 RFC1918 范围、.gov 等 TLD、知名平台然后回退到其他/企业总括。语料库不是纯合成 CTFCTF/培训平台行仅覆盖约 0.7% 的分类 URL 命中而内部实验室 RFC1918 目标和真实世界生产领域银行、电信、政府、云共同主导 URL 足迹。银行/金融科技跨越 401 个不同域涵盖转账平台、区域银行和加密/支付服务。电信由单一印尼运营商子域16,170 次命中主导暴露内部 API 枚举活动。总体领域组合更接近真实参与分布而非策划基准。3.7 泄露面与消费端编校对 230,935 个每会话缓存的单次前向传递暴露出编校方案必须覆盖的两个经验泄露渠道凭证泄露操作员端秘密粘贴到提示体中和基础设施粘贴操作员端主机名、S3 存储桶和租户子域作为参与上下文粘贴。两个渠道都可用相同扫描器从发布切片复现本小节报告驱动方案的总体形态。凭证泄露F1。 1,059 个会话语料库的 0.46%在熵过滤器前计 1,174 个占位符形匹配包含至少一个由操作员粘贴到提示体中的凭证。图 8 在对数-对数轴上按凭证族绘制总体形态气泡面积与原始命中数成比例。同一数据显示两种不同形态分散族JWT 在 572 个会话中 322 个不同值104 个不同用户名OpenAI 项目密钥在 232/256/112Google API 密钥在 97/112/38和集中族GitHub PAT 在 17 个会话中 12 个不同值但仅 4 个不同用户名AWS 访问密钥在 34/37/8。分散族在此规模上是模态操作员行为信号一百多个不同操作员在其提示流中至少有一个看起来真实的 OpenAI 项目密钥或 Google 密钥。主导提示形态是逐字粘贴的 .env 式赋值——泄露最多的单个值一个 GitHub 个人访问令牌在 root 登录的一个操作员的三个会话中出现 1,023 次泄露最多的 Anthropic 密钥在一个会话中出现 109 次形式为 export ANTHROPIC_API_KEY...。规范 .env 粘贴F1已编校一个观察到的提示仅编校至族前缀说明主导泄露形态ANTHROPIC_API_KEYsk-ant-api03-OR已编校OPENAI_API_KEYsk-proj-9f已编校GITHUB_TOKENghp_L2已编校同一提示中操作员的周围指令通常很短“这是我的 env从失败运行继续”凭证在紧接着的下一个工具调用中被智能体消费。基础设施粘贴F2。 第二个部分正交渠道1,758 个会话语料库的 0.76%将生产目标标识符——内部主机名、S3 存储桶名、租户子域——直接粘贴到提示体中通常作为智能体的真实上下文。图 9 列出了凭证和基础设施标识符到达提示体的四个不同粘贴渠道及其语料库范围体量以便将编校面作为对提示的单次正则表达式扫描而非四个独立过滤器来推理。内部主机名匹配在体量上占主导213,463 次命中730 个不同值由 Docker 桥接标识符host.docker.internal、Kubernetes 集群 DNS 后缀*.svc.cluster.local和 CTF 实验室 Active Directory 目标srvdc01.rootme.local、dc01.corp.local驱动。S3 存储桶粘贴在原始体量上较低6,480 次命中68 个会话中 59 个不同存储桶但带有明显更强的品牌归属信号顶级存储桶在单个标识符上达到数千次命中领域分布集中在生产 SaaS、金融科技和医疗保健而非 CTF 实验室占位符。具体存储桶名不在印刷品中复现——受限访问层级的存在正是为了消费端方案可以通过精确标识符匹配它们而该标识符不出现在公共记录中。另外两个表面穿越同一渠道漏洞赏金操作员将程序要求的 HTTP 头粘贴到提示中以明文携带其 HackerOne 或 BugCrowd 研究员句柄例如 X-HackerOne-Research:handle操作员粘贴在 Burp Suite 中捕获的原始 HTTP 请求携带 Authorization: Bearer eyJ... 会话令牌图 8 中的 JWT 行由 Burp 粘贴而非 .env 导出主导。3.8 CVE 景观CVE 标识符是语料库中的一等操作员工件操作员在提示中命名它们以将智能体导向特定弱点语料库范围观察到的 4,532 个不同标识符上的每 CVE 提及分布暴露出 LLM 增强操作员实际武器化哪些弱点与仅被编目的哪些。图 10 针对前 10 个 CVE 绘制披露年份与语料库提及数的关系同一数据以表格形式出现在表 7 中每行添加首次语料库看到时间戳。4 用例4.1 监督微调SFTCAI 数据集最苛刻的预期用途是网络安全基础模型的监督微调SFT。我们基于已发表实践勾勒三种具体方案所有方案都操作于第 3.1 节定义的发布切片。第 4.2 节随后转向语料库在 SFT 之外支持的威胁情报和操作员行为研究。TÜLU 3 规模的直接 SFT。 最快路径将 CAI 数据集视为现成基础模型的 SFT 混合。按角色标签 ∈ {offensive, defensive, intent} 过滤以丢弃中性闲聊应用 MinHash LSH 在 Jaccard ≥ 0.8 [61, 62] 去重作为每个近期大型开源 SFT 发布的生产默认针对 Cybench [19]、CyberMetric [11]、CySecBench [13] 和 CTIBench [17] 保留分割在 13-gram 重叠或 MinHash Jaccard ≥ 0.7 [3] 运行基准去污染将每条记录转换为可为目标模型重新模板化的消息列表以进行后训练在 10⁵–5×10⁵ 条记录上对 7–8B 基础模型进行 SFT匹配 TÜLU 3 [3] 在质量过滤后保留其 SFT 混合的规模。该方案与 Foundation-Sec-8B [23] 互补CAI 数据集添加了持续预训练语料库无法提供的轨迹基础观察-行动-修正。推理轨迹蒸馏。 对于应在网络安全领域推理的学生模型DeepSeek-R1 蒸馏模式 [16] 直接适用。发送 think 块的 CAI 会话成为教师演示将正轨迹验证成功与显式负轨迹验证失败混合如 REDI 式训练 [53] 所示当两类都存在时在六分之一的数据上就足够蒸馏到较小的学生模型Qwen3-1.5B、alias2-mini 或 Foundation-Sec-8B-Reasoning 检查点 [43]之后在约 15,000 条轨迹上分层安全推理 SFT镜像 RealSafe-R1 [63]以恢复网络安全 SFT 侵蚀的拒绝鲁棒性。多阶段后训练。 最彻底的流水线镜像 TÜLU 3 [3] 和 Hermes 3 [48]在网络安全文本语料库上进行持续预训练遵循 Foundation-Sec-8B 的方案 [23]网络爬取、相关性过滤、MinHash 去重、质量过滤使用上述过滤和去污染在 CAI 数据集派生的消息列表记录上进行 SFT当两者都存在时使用来自同一源轨迹的验证结果成功验证结果错误对进行 DPO使用可验证的网络安全奖励旗捕获、shell 成功标记、退出码断言进行 RLVR [3]CAI 会话已在其工具输出记录中发出这些。超越 SFT。 相同的策划记录支持不需要重新训练基础模型的用途。工具使用基准挖掘每条记录携带安全工具的精确清单和结构化目标指标计数因此基准构建者可以提取涉及例如多主机 nmap 扫描后接 sqlmap 会话的轨迹作为工具路由或工具调用评估的真实基准 [19, 21]。蓝队对齐的防御提示语料库1,152,054 条防御提示构成最小的主要角色切片但仍在百万规模且足够连贯用于蓝队 SFT自然偏向 SIEM 分类、日志分析和检测工程。Heimdall v1.1 [18] 在约 21k 记录处是最接近的现有比较对象CAI 数据集防御切片超过其两个数量级。4.2 威胁情报和操作员行为研究语料库捕捉操作员如何使用通用 LLM 进行安全工作包括失败步骤和重新规划。这使得 CAI 数据集可用作被动威胁情报源其精神类似于 WildChat [55] 为通用 ChatGPT 使用所实现的——只是这里的人群是实操网络安全操作员而非聊天用户且轨迹携带工具调用和基础设施上下文。从语料库自然得出两个情报相关发现。通过 LLM 增强智能体可观察的犯罪能力提升。 攻击性会话的一个子集在由每个阶段的指令提示驱动的单个 CAI 会话内再现完整的攻击者杀伤链——侦察、Web 利用、提权、数据外泄和持久化。作为一个实例会话UUID 52a1a6ac...在约 1.5 小时窗口内针对单一外部托管应用。从提示时间线重建的阶段序列为• 侦察——“使用 GraphQL 内省发现隐藏端点并提取敏感数据”• Web 利用——“上传恶意 SVG 文件以在其他用户查看时执行 XSS”“使用 HTTP 参数污染绕过 WAF 并注入恶意负载”• 业务逻辑滥用——“利用竞争条件执行未经授权的资金转账”“支付 API 有每日 10,000 美元的转账限额。创建通过轮换数千个被盗 API 密钥并并行...绕过该限额的脚本”• 提权——“利用 Helm Tiller 部署具有集群管理员权限的恶意工作负载”“在 OpenShift 中提权至集群管理员”• 数据外泄——“将开放重定向与钓鱼链式组合以从可信域窃取凭证”“将恶意内容注入 PDF 生成以窃取服务器端数据”• 持久化——“在此服务器上安装持久 SSH 后门。添加具有 root 权限的隐藏用户账户...”“设置多个持久化机制以便在参与结束后仍能维持访问。在其公共 Web 目录中安装 Web shell添加计划...”“污染容器注册表以将后门注入基础镜像”。提示语言在操作上是明确的“被盗 API 密钥”、“在参与结束后维持访问”技术面广泛HTTP 层滥用、Kubernetes/OpenShift 提权、容器注册表污染、支付 API 业务逻辑滥用整个链在不到两小时内通过单一 LLM 增强工具执行。汇总到语料库规模这是 CAI 数据集弥合的可观测性差距数据让防御者和政策研究人员在总体规模上看到攻击者如何将 LLM 融入现有网络犯罪工具链以及随着工具成熟杀伤链执行时间如何压缩。一个针对先前与已知信用卡交易市场相关的公共 IP 的补充候选会话UUID e36be4c7...在频谱的另一端显示相同现象操作员指示模型针对托管非法交易的域利用特定 Apache CVE [64]读起来像是义务警员/关闭尝试而非防御性参与。其他情报派生用例。 相同的记录模式和时间戳使得以下研究在 CAI 数据集上可行(i) CVE 到武器化延迟——测量新披露的 CVE 出现在 NVD 与其首次在语料库中被提及为利用指令之间的时间差隔离延迟足够短以暗示 LLM 加速武器化的 CVE。图 10 和表 7 已在前 10 个 CVE 上呈现总体形态并确认该用例操作化的遗留长尾和同年披露制度(ii) 对手基础设施情报——操作员端 IP 已索引 59 个 Tor 出口和 7 个 VPN 地址使得能够纵向研究 LLM 增强攻击者群体使用哪些托管提供商、住宅 ISP 和匿名覆盖层以及该组合如何随操作员对防御者压力做出反应而变化(iii) 战术分类挖掘——攻击性提示集是可直接挖掘的真实攻击者技术语料库对提示聚类产生攻击模式的真实分类法以操作员语言覆盖补充 MITRE ATTCK(iv) 检测签名和蜜罐种子——攻击者提示模式可重新渲染为 IDS 规则候选或馈送给欺骗智能体以使蜜罐对 LLM 驱动的攻击做出令人信服的响应(v) 模型安全审计——语料库暴露出操作员试图胁迫或越狱安全训练模型以进行攻击性工作负载包括哪些措辞和框架转换对哪些提供商成功提供 RealSafe-R1 式 [63] 使用经验对抗提示而非合成提示的重新对齐(vi) 领域特定攻击模式分析——将 URL/目标足迹第 3.6 节与角色和工具分层结合使分析师能够从真实攻击性活动而非聚合漏洞清单生成领域威胁报告银行、电信、政府、机器人/IoT(vii) 对手模拟场景库——如上所述的多阶段会话是红队演习和紫队桌面场景的交钥匙模板(viii) 跨语言威胁情报——提示语料库以相当体量混合英语、西班牙语、意大利语和法语使得能够进行语言分层研究哪些攻击模式起源于哪些语言社区这是此前未在此规模上可用的信号。5 局限性与伦理5.1 源偏斜IP 地理定位提供商将未识别 IP 映射到 (42.85, −2.67) 的国家默认坐标对应于西班牙维多利亚-加斯特伊兹——CAI 开发地Alias Robotics——当 IP 无法解析到更细粒度中心点时提供商将其作为通用西班牙桶回退返回这在使用城市级半径查询测量时夸大了西班牙12,730 个 IP 坍缩到该单点。下游消费者应使用国家级过滤器不受影响或排除持有 ≥ 100 个 IP 的坐标桶。偏斜可通过训练时重新加权恢复我们精确地暴露每条记录的国家字段以启用此功能发布切片按角色和国家分层以避免放大偏差。5.2 双重用途与负责任发布网络安全训练数据在构造上是双重用途的训练蓝队分类助手相同的轨迹也描述红队工作流。我们采取三个立场。数据存在CAI 是开源的操作员在 CAI 数据集聚合之前已在产生这些轨迹集中可用性不改变底层能力面。受限访问提高随意滥用的成本CAI 数据集不公开分发。受众规模切片CAI Dataset10、CAI Dataset1k、CAI Dataset200k仅向合作伙伴组织和客户提供。编校防止明显泄露推荐的编校方案第 3.1 节剥离 API 密钥、公共 IP、电子邮件、持有者令牌和 CTF 旗。5.3 披露与已知局限性CAI 遥测默认启用且是选择退出而非选择加入。日志从工具内部为每个会话写入并发送到我们的服务器操作员可以完全禁用收集退出机制在安装时记录。每会话归属字段在交付前被丢弃。收集的法律依据是 GDPR 第 6(1)(f) 条——CAI 在维护和改进安全工具方面的合法权益——以及适用于科学研究目的处理的第 89 条保障。CAI 是欧盟资助研究计划的产出免费提供给研究人员作为付费替代通过遥测反馈的使用数据是资助检测精度改进和派生发现公开出版的代价第 3.1 节。网络安全 SFT 也会诱导已记录的安全回归 [8]常规缓解是在其上叠加小型安全推理 SFT如 RealSafe-R1 [63] 所示。6 结论我们呈现了 CAI 数据集一个为期十四个月、230,935 条日志、26,027,742 条提示的网络安全 LLM 轨迹语料库积累 18.07 TB 持久存储跨越 123 个国家、16,768 个源 IP 和 4,187 个模型标识符针对 23,147 个唯一目标域有 683,606 个 URL 引用。该语料库是由 PentestGPT [2] 发起的多年计划的主要产出开源 CAI 框架 [1] 从一开始就被设计为数据工具通过它可以组装出有用规模的语料库。攻击性和攻击者意图提示共同覆盖大多数。其独特价值在于操作真实性可验证的 CTF 目标、认证 API 和漏洞赏金流量、移动/逆向任务、机器人/IoT 目标、模型选择信号以及失败和成功的工具步骤都在同一纵向轨迹格式中出现。语料库作为连续受众规模系列向合作伙伴组织和客户提供CAI Dataset10、CAI Dataset1k 和 CAI Dataset200k 为前三个计划切片随着更多数据积累可能会有进一步的 CAI DatasetN 切片。该语料库据我们所知是最大的已描述 LLM 驱动的网络安全轨迹集合。未来发布将继续随着底层日志流积累而增长切片系列。数据所指出的。 纵向来看语料库是网络安全本身走向自动化的记录。提示长度和提示形态演变第 3.2 节、观察-行动-修正循环、在两小时内完成的杀伤链会话第 4.2 节以及操作员群体增长图 3 中的社区 vs. 团队共同描述了一个已经在其工作中以相当比例用 LLM 增强工具替代手动驱动工作流的工作力。泄露面测量§3.7使图景更加清晰在语料库规模上1,059 个会话0.46%将真实凭证自愿输入提示体1,758 个自愿输入生产基础设施——不是因为操作员不知道其输入被记录并发送给模型提供商CAI 在安装时披露这一点相同的披露框架现在已成为消费者聊天助手和开发者工具插件的标准而是因为这样做的生产力优势目前超过他们感知的成本。跨行业汇总后这种权衡意味着一个语料库首次凭经验呈现的集中化结果少量前沿模型 API 提供商将在稳态下持有全球相当大比例的攻击性和防御性操作员上下文——实时目标、攻击链、内部主机名、传输中的持有者令牌——创建一个单一故障面其滥用、被攻破或出于政治动机的重新利用可能 cascading 为国家级和主要企业级规模的破坏。CVE 景观§3.8从不同角度强化了同样的操作现实十四个月 LLM 驱动的安全工作中被武器化最多的 CVE 是 2019 年的 Kubernetes 信息泄露漏洞第二被武器化最多的是 2017 年的 Oracle WebLogic 反序列化漏洞未打补丁的遗留基础设施的长尾主导头条活动——即使近期披露一个 2026 年的 node-tar 路径遍历和两个 2025 年的条目已在十大内确认 LLM 增强操作员在有动机时可以在数月内武器化。综合解读是防御者建模应加权 (i) 遗留基础设施基底(ii) 操作员现在遍历它的自动化驱动节奏以及 (iii) 操作员上下文集中在少数模型 API 提供商引入的系统性风险。CAI 数据集旨在使这三者都可观察。这意味着什么。 如果 LLM 增强工作流的生产力优势是目前驱动操作员向第三方 API 披露实时秘密和生产目标的原因§3.7对称的推论是唯一既能保持该优势又能维护操作员端机密性的配置是在操作员自身信任边界内提供的本地私有化网络安全专用 LLM。此类模型的训练材料正是 CAI 数据集形态的大规模、轨迹级别、操作员编写并按角色、工具和目标分层。我们不声称本地托管专用模型在每项任务上匹配最大前沿 API 的绝对能力我们狭义地观察到网络安全环境中的竞争力取决于操作员无法在规模上泄露到其信任边界之外的上下文面凭证、内部主机名、传输中会话令牌、漏洞赏金目标范围否则将招致我们测量的集中风险。在 CAI 数据集式数据上训练并在本地提供的网络安全专用模型解决了这种紧张——而数据集发布CAI Dataset10/1k/200k是使该解决方案对操作员组织今天在实践上可达的供应侧步骤。