Agentic Awesome Skills 实战：audit-agent-run-evidence 技能——不信任自我报告，用证据链审计 Agent 运行结果

Agentic Awesome Skills 实战audit-agent-run-evidence 技能——不信任自我报告用证据链审计 Agent 运行结果【免费下载链接】agentic-awesome-skillsAAS Core is the local, agent-first control plane for complete catalog discovery, agent-owned selection, stack validation, and planning, backed by 2,600 agentic skills. Includes CLI, local MCP, catalog, plugins, and Workbench.项目地址: https://gitcode.com/GitHub_Trending/an/agentic-awesome-skills导读在 Agent、harness、MCP 工作流或多步自动化宣称完成时如何判断其成功声明是否真实可信本文基于 Agentic Awesome SkillsAAS仓库中的audit-agent-run-evidence技能系统讲解一套只读、可决策的 Agent 运行审计方法论把端到端成功陈述拆解为可独立判定的原子断言依据最接近效果的真实见证物逐条定级并严格区分证据缺失与事实失败。读完本文你将掌握从 traces、checkpoints、approvals、tool calls 与 deployment records 中重建一次 Agent 运行、出具结构化审计报告含 claim ledger 与总体裁决的完整可复用流程。一、技能定位它审计什么不审计什么audit-agent-run-evidence是 Agentic Awesome Skills 仓库中收录的一个risk: safe、source: self的审计类技能其元数据完整登记于 data/catalog.json触发关键词覆盖audit、agent、run、evidence、harness、gateway、mcp、claims、completion等。技能正文位于 skills/audit-agent-run-evidence/SKILL.md并被同步进 Claude 插件发行包 plugins/agentic-awesome-skills-claude/skills/audit-agent-run-evidence/SKILL.md两处内容完全一致可在不同安装形态下直接使用。该技能的核心主张是一句话把端到端成功陈述转变成可独立判定的声明independently decidable claims——从已有记录重建实际发生的事用最强见证物给每条声明打分并把证据缺失与失败严格区分开。适用场景When to Use审计一次已完成或被中断的 Agent 运行基于 traces 与 artifacts核查 Agent 的端到端成功声明是否真的站得住脚审查 MCP、gateway、sandbox、checkpoint、retry、memory、approval 或 deployment 相关的证据区分自主成功与人类辅助成功或仅仅是被请求过的结果。边界重要这是一个只读审计不要重新运行工具、不要批准操作、不要恢复 worker、不要部署工件、也不要修改证据——除非用户另行授权。同时该技能不用于为未来运行设计埋点instrumentation也不负责补做缺失的动作它只评估已经存在的证据。技能末尾的 Limitations 也再次强调如果证据收集会改变外部状态或暴露敏感数据应立即停止并请求授权。二、第一步建立契约Establish the Contract在评判任何运行之前先记录以下输入形成审计的契约基线声明的目标与终态成功标准terminal success criteriarun、workflow、task 与 parent 标识符可获得的不可变修订信息代码、配置、模型、prompt、tool-schema 与 artifact 的版本参与者与信任边界orchestrator、worker、sandbox、MCP server、gateway、人类审批者、CI、部署平台各类预算retry、deadline、token、cost、concurrency、human-escalation 预算提供的证据清单evidence inventory与已知的采集缺口。两条铁律不得悄悄强化原始成功标准也不得为了迁就现成证据而弱化成功标准。契约一旦确定后续所有裁决都锚定在这份基线之上。三、第二步构建断言账本Build a Claim Ledger把整体声明拆解为原子谓词atomic predicates并为每一行分配稳定的 claim ID。账本字段与要求如下字段要求内容claim_id稳定标识符predicate一条可证伪的陈述required_witness能够独立证明该陈述的证据来源evidence_refs精确的事件、日志、工件或记录 IDcounterevidence_refs相互冲突的记录coverage所需实例数 vs 已观察实例数verdictproven/partially_proven/contradicted/not_provengap缺失的字段、参与者、时间区间或验证步骤典型谓词typical predicates包括每个必需步骤都到达了其终态后置条件每个执行中的 worker 的 sandbox 隔离始终成立每次必需的 MCP/tool 调用都有与之关联的响应重试遵循幂等性未产生重复的已提交效果checkpoint 被持久化写入、经过校验、并确实用于恢复并行分支满足声明的 join 策略memory 读取引用的是带版本号的来源而非未跟踪的摘要retry、deadline、token、cost、escalation 预算均被遵守审批由授权人类针对确切的工件与目标授予平台部署的是同一个工件且通过了声明的健康检查。从仓库结构看这种先拆谓词、再对证据的审计思路与技能目录中的其他审计类技能一脉相承例如 skills/audit-skills/SKILL.md对 AI Skills 与 Bundles 做静态安全审计、输出 0-10 评分报告与 skills/agenttrace-session-audit/SKILL.md会话级 trace 审计audit-agent-run-evidence的差异点在于它聚焦运行证据可信度而非代码恶意性二者可配合使用。四、第三步证据归一化Normalize Evidence保留原始记录创建一份归一化的事件视图normalized event view。技能给出的事件结构如下{ run_id: run-123, event_id: evt-42, sequence: 42, observed_at: RFC3339 timestamp, actor: {type: worker, id: worker-2}, operation: mcp.search, state_before: researching, state_after: researching, attempt: 2, request_id: req-9, idempotency_key: task-7:search:2, input_digest: sha256:..., output_digest: sha256:..., checkpoint_seq: 3, parent_event_id: evt-41, status: succeeded, evidence_ref: tool-log:991 }使用规范缺失值一律使用null或unknown严禁合成ID、时间戳、摘要、成本、审批或结果若提供 bundle 哈希或签名必须校验主动排查重复 ID、断裂的 parent 链接、单来源序列不单调、不可能的状态迁移、未解释的时钟偏移clock skew、无法解释的 trace 空洞一旦发现完整性失败将其视为受影响记录所支撑断言的 counterevidence。值得注意input_digest/output_digest与idempotency_key的组合正是把重试链与幂等效果落实到可审计维度的关键——后面重建运行一节会用它串起重试链。五、第四步见证物排序Rank Witnesses优先选择最接近效果本身的见证物witness。技能的权威对照表声明强见证物单独不足以证明代码已变更Commit/tree 与 diffAgent 叙述测试通过绑定到修订版本的完整测试结果命令被调用过MCP 效果已发生服务端或提供方的审计记录客户端请求Checkpoint 已恢复持久化 checkpoint 经验证的加载事件checkpoint 文件存在人类已审批授权系统绑定到工件与目标的决策记录审批请求发出过部署成功平台记录 必需的健康检查部署已启动Memory 支撑了决策带版本号的 memory 读取与引用最终回答像记忆内容两条深刻的警示直接写进技能原文orchestrator 与其子 worker 不是独立见证物——当它们只是重复同一个未经核实的结果时一方不能为另一方背书密码学摘要证明的是字节同一性byte identity而非语义正确性——digest 相同不代表做对了这件事。六、第五步重建运行Reconstruct the Run按以下 7 步从证据重建真实执行路径按因果链接与各来源的 sequence 排序事件时间戳仅作为辅助证据构建状态迁移路径标记每一个空洞gap或非法迁移按逻辑操作、request ID 与 idempotency key 串联每条重试链将 checkpoint 链接到其包含的状态以及消费它的恢复事件保留每条并行分支的结果应用声明的all_required、quorum、first_success等 join 规则在每次迁移时跟踪剩余预算——预算耗尽后的迟到成功属于预算违规把审批与部署记录绑定到确切的工件摘要与目标。核心判据当必需的中间谓词缺失时不能仅凭最终状态标签推断成功完成。这正是成功退出码 ≠ 业务后置条件达成的底层原因。七、第六步判定Assign Verdicts四种裁决语义proven真实证据覆盖谓词的每个实例且无可靠的反证残留partially_proven部分必需实例或字段已被证明且未覆盖的部分被明确命名contradicted可靠证据与谓词冲突not_proven证据缺失、循环引用、无法验证或仅凭自我报告。使用原则非常明确日志缺失用not_proven不要用contradicted出现以下情况才用contradictedtrace 显示健康检查失败、重复效果、未授权审批者、损坏的 checkpoint、跳过的必需分支、预算耗尽端到端裁决不能强于其最弱的必需谓词可选的诊断项如果从未属于声明契约可以保持未证明而不判定运行失败。八、第七步出具报告Report报告按固定顺序返回五个部分Scope and evidence inventory— 运行身份、声明标准、已检查记录、完整性校验Claim ledger— 每个谓词一行含裁决与精确引用Reconstructed timeline— 只包含状态变更、故障、重试、checkpoint、join、审批与部署事件Gaps and counterevidence— 指出受影响声明并说明后续采集是否仍可补回证据Overall verdict— 一句话结论 阻塞性 claim ID 列表。技能给出的示例结论partially_proven: repository steps C1-C18 and checkpoint recovery C22 are proven, but deployment success is not proven because C31 has only a client-side start event and no platform health result.译仓库步骤 C1-C18 与 checkpoint 恢复 C22 已被证明但部署成功未被证明——因为 C31 只有客户端侧的启动事件缺少平台健康检查结果。这个例子示范了正确输出风格精确到 claim ID、精确到缺失的记录类型而不是笼统地说基本成功。九、常见错误清单Common Mistakes技能明确列出八类高频错误审计时对照自查把进程成功退出当作业务后置条件已达成把多次重试当作多次成功逻辑操作把子 Agent 的摘要当作独立佐证未观察到经验证的加载verified reload就称 checkpoint 可恢复把审批请求当作审批授予报告百分比却不列出分母与缺失实例数把埋点建议当作本次已完成运行的实际证据。十、能力边界Limitations审计无法恢复任何可信来源都未曾记录的事实提供方日志可以证明外部效果但无法证明 Agent 的内部推理过程必要时需对密钥与个人数据进行脱敏记录脱敏范围并保留稳定引用仓库中的 skills/evidence-hygiene/SKILL.md 提供了 PoC 截屏、HAR、Cookie 的脱敏操作细节可作为证据后处理阶段的配套技能若证据采集会改变外部状态或暴露敏感数据停止并请求授权。十一、落地建议如何把它接入你的审计流程安装与定位在 Agentic Awesome Skills 仓库中技能本体为 skills/audit-agent-run-evidence/SKILL.mdClaude 插件发行包内置同一技能于 plugins/agentic-awesome-skills-claude/skills/audit-agent-run-evidence/SKILL.md可直接按各自部署形态引用其在 data/catalog.json 中的登记项risk: safe、source: self、tags 与 triggers可用于技能发现与自动触发。执行顺序建立契约 → 构建断言账本 → 归一化证据 → 见证物排序 → 重建运行 → 判定 → 报告七步缺一不可。裁决纪律始终让最弱必需谓词决定端到端结论缺失与失败分开表述。配套组合审计前若涉及证据脱敏可参考evidence-hygiene审计范围若包含技能包本身的恶意性分析可参考audit-skills需追溯会话级 trace 时可参考agenttrace-session-audit。把Agent 声称成功当作一个待验证的声明而非结论是 Agent 工程走向可信交付的关键一步——audit-agent-run-evidence提供的正是这套可复用的、只读的、以证据为中心的裁决流程。【免费下载链接】agentic-awesome-skillsAAS Core is the local, agent-first control plane for complete catalog discovery, agent-owned selection, stack validation, and planning, backed by 2,600 agentic skills. Includes CLI, local MCP, catalog, plugins, and Workbench.项目地址: https://gitcode.com/GitHub_Trending/an/agentic-awesome-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考