witty-profiler架构设计揭秘构建高效AI系统监控框架的完整方案【免费下载链接】witty-profilerThe witty-profiler is an automated data and control stream topology detection and bottleneck analysis tool for AI training and inferencing systems.项目地址: https://gitcode.com/openeuler/witty-profiler前往项目官网免费下载https://ar.openeuler.org/ar/witty-profiler是一款面向AI训练与推理系统的自动化数据与控制流拓扑检测及瓶颈分析工具它能够帮助开发者深入了解系统运行状态精准定位性能瓶颈。本文将为你详细剖析witty-profiler的架构设计带你了解如何构建一个高效的AI系统监控框架。系统架构概览分层设计的智慧结晶witty-profiler采用了清晰的分层架构各层职责明确协同工作共同实现系统拓扑的发现与结果的暴露。其整体架构如下核心分层架构┌──────────────────────────────────────────────────────────────────┐ │ HTTP API Layer │ │ FastAPIServer | OnlineDisabledServer (fallback) │ └────────────────────────────┬─────────────────────────────────────┘ │ ┌────────────────────────────┴─────────────────────────────────────┐ │ Controller Layer │ │ WittyProfilerServer (Singleton) ── 后端选择与生命周期代理 │ │ WittyProfilerCore (Singleton) ── 采集编排、订阅者通知、后台循环 │ └────────────────────────────┬─────────────────────────────────────┘ │ ┌──────────────┴──────────────┐ │ │ ┌─────────────┴──────────┐ ┌──────────────┴──────────────────┐ │ Collector Layer │ │ Subscriber Layer │ │ CollectorSet │ │ SubscriberCollection │ │ (BFS 图扩展) │ │ (广播通知) │ └─────────────┬──────────┘ └─────────────────────────────────┘ │ ┌─────────────┴──────────────────────────────────────────────────┐ │ Local / Remote Collectors │ │ Socket │ SharedMemory │ GPU │ NPU │ NUMA │ RDMA │ Container │ │ IPC │ CommonParent │ Static │ TopCpuUsage │ Remote │ └─────────────┬──────────────────────────────────────────────────┘ │ ┌─────────────┴──────────────────────────────────────────────────┐ │ Kernel Instrumentation (eBPF) │ │ Socket Sniffer │ Cache Miss Monitor │ Sched Monitor │ └────────────────────────────────────────────────────────────────┘┌────────────────────────────────────────────────────────────────┐ │ Visualization Layer 离线导出 │ │ Graph → LayoutGraph → Renderer (HTML/DrawIO/GEXF/Graphviz) │ └────────────────────────────────────────────────────────────────┘这个架构就像一个精密的仪器每一层都发挥着不可或缺的作用。HTTP API Layer作为对外的窗口提供了便捷的接口Controller Layer则是整个系统的大脑负责协调各项工作Collector Layer和Subscriber Layer一收一发确保数据的准确采集与及时推送Kernel Instrumentation层深入内核获取最底层的系统信息Visualization Layer则将复杂的数据以直观的方式呈现出来。拓扑采集原理多源观测与图融合的完美结合witty-profiler的拓扑采集过程可以抽象为“多源观测 → 图融合 → 持续发布”的流程这一流程充分体现了其设计的精妙之处。多源观测全面感知系统状态witty-profiler能够从socket、共享内存、NUMA、GPU/NPU、容器等多个不同的信号源并行获取系统状态。这种多源观测的方式就像给系统装上了“千里眼”和“顺风耳”能够全面、细致地感知系统的一举一动。种子与扩展逐步构建完整拓扑采集过程首先由种子采集器生成初始节点然后按照实体类型进行邻居扩展逐步补全关联关系。这个过程类似于“滚雪球”从一个小的起点开始不断扩大范围最终构建出完整的系统拓扑。统一建模异构数据的归一化将来自不同数据源的异构观测统一映射为实体nodes与关系edges形成一致的拓扑语义。这一步就像是将不同语言的信息翻译成同一种通用语言使得各种数据能够相互理解、相互关联。去重与合并保证图的稳定性与可比较性跨采集器、跨轮次对重复实体与边进行合并保证图的稳定性与可比较性。这一机制确保了无论数据来自何处、何时采集都能够形成一个准确、一致的系统拓扑图。增量发布实时响应系统变化将最新拓扑持续输出给API与订阅者支持在线查询与离线分析。这种增量发布的方式使得用户能够实时了解系统的最新状态及时发现并解决问题。核心组件解析各司其职的“特种兵”witty-profiler的各个核心组件就像一支训练有素的“特种兵”部队各司其职协同作战共同保障系统的高效运行。Controller 层系统的“大脑中枢”WittyProfilerCoreThreadSafeSingleton它是系统的核心控制器主要负责管理Collector的生命周期start/stop/clear在后台线程中协调周期性采集维护SubscriberCollection并在每次采集后通知所有订阅者。其_running为引用计数支持嵌套的start/stop操作当计数归零时才真正停止。同时它通过NaiveMemoryStorageGraphSubscriber缓存最新图供get_last_graph()返回。WittyProfilerServerThreadSafeSingleton它从GlobalConfigManager读取server_config.preferred_backend使用ServerFactory选择并创建HTTP后端代理run_online(addr, port)和run_offline(duration)方法是系统与外部交互的重要枢纽。Collection 层数据采集的“先锋队”CollectorSet组合模式它聚合多个Collector以统一的BFS遍历方式扩展图实现跨数据源去重实体和边。种子图仅由collector_config.seed_graph_collectors中列出的Collector提供entity_type2collector映射实现按实体类型分发邻居查询并且支持运行时动态添加Collector。丰富的Collector类型witty-profiler提供了多种类型的Collector以应对不同的数据源和采集需求Collector数据源说明SocketCollectorTCP/UDP socket 通信依赖 eBPF Socket SnifferSharedMemoryCollector共享内存区域GPUCollectorGPU 设备映射NVIDIA GPU 拓扑NPUCollectorNPU 设备映射NumaCollectorNUMA 拓扑CPU/内存亲和RDMACollectorRDMA 队列与统计ContainerCollector容器/Pod 元数据IPCCollector进程间通信CommonProcessParentCollector公共父进程合并进程树StaticCollectorCLI--pid指定的进程手动种子节点TopCpuUsageCollectorCPU 高使用率进程RemoteCollector远端 Witty Profiler 实例带命名空间的远程图合并活跃Collector由配置项collector_config.disabled_collectors控制用户可以根据实际需求灵活配置。Graph 层数据建模的“基石”Graph包含nodes: list[Entity]和edges: list[Edge]构造时自动去重支持惰性扩展try_add_node/try_add_edge通过model_dump()序列化为dict/JSON支持合并、子图比较/等操作。Global ID格式为{类型缩写}({unique_id})或{类型缩写}(ns{namespace},{unique_id})确保实体的唯一性。Edge 层关系表达的“桥梁”边建模实体间的关系与数据流继承体系清晰Edge→DirectedEdge/UndirectedEdgeDirectedEdge又派生出DeployEdge/DataStreamEdge等分类边分类边再进一步细分为OwnEdge/BelongEdge/AccessEdge/SendToSocketEdge等具体实现能够精准地表达实体间的各种复杂关系。Subscriber 层信息推送的“快递员”Subscriber通过SubscriberCollection接收图更新通知提供了多种实用的SubscriberSubscriber用途NaiveMemoryStorageGraphSubscriber内存缓存最新图get_last_graph()的数据源ConsoleGraphSubscriber控制台日志输出FileGraphDescSubscriber写入graph.describe()到文件FileJsonGraphSubscriber写入 JSON 图到文件HttpPostGraphSubscriberPOST 图 JSON 到远程 URLMongoDBGraphSubscriber写入 MongoDB条件依赖 pymongoSubscriberCollection的expected_next_update_interval取所有子订阅者中的最小值支持同步和异步通知模式通过SubscriberMeta元类自动注册可通过HTTP API动态管理。Backend 层接口服务的“门户”提供了FastAPIServer和OnlineDisabledServer两种后端后端说明FastAPIServerREST API提供 Swagger UI依赖 fastapi uvicornOnlineDisabledServer仅支持离线模式的回退后端ServerFactory按优先级选择后端配置指定 FastAPIServer 第一个注册的回退ServerMeta元类自动注册Server子类。Visualization 层数据展示的“艺术家”离线图导出采用两阶段流水线首先通过LayoutFactory.create_layout_from_graph()将Graph转为LayoutGraph层次化布局树然后由Renderer将LayoutGraph渲染为目标格式如HTML、DrawIO、GEXF、PyVis、Graphviz.svg .png等。支持多种布局引擎default/constraint/gephi通过--layout-engine参数或API选择LayoutRendererMeta元类自动注册渲染器支持扩展新输出格式CLI入口为witty-profiler-vis。Configuration 层系统配置的“总开关”配置由GlobalConfigManagerSingleton管理加载优先级为CLI参数最高优先级 配置文件--config path.json 框架默认值dataclass默认值。配置dataclass定义在src/witty_profiler/config_manager/configs。总结构建高效AI系统监控框架的完整方案witty-profiler以其精心设计的分层架构、先进的拓扑采集原理和丰富的核心组件为构建高效AI系统监控框架提供了完整的解决方案。它能够全面、准确地感知系统状态实时推送拓扑信息以直观的方式展示数据帮助开发者深入了解系统运行情况及时发现并解决性能瓶颈。无论是对于AI训练还是推理系统witty-profiler都将成为得力的助手为系统的稳定、高效运行保驾护航。如果你想体验witty-profiler的强大功能可以通过以下命令克隆仓库https://gitcode.com/openeuler/witty-profiler然后按照官方文档进行安装和配置。相信在witty-profiler的帮助下你的AI系统监控工作将变得更加轻松、高效【免费下载链接】witty-profilerThe witty-profiler is an automated data and control stream topology detection and bottleneck analysis tool for AI training and inferencing systems.项目地址: https://gitcode.com/openeuler/witty-profiler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考