Savant Prometheus监控构建生产级AI应用监控体系【免费下载链接】SavantPython Computer Vision Video Analytics Framework With Batteries Included项目地址: https://gitcode.com/gh_mirrors/sa/SavantSavant框架作为一款高性能计算机视觉与视频分析框架为企业级AI应用提供了完整的Prometheus监控解决方案。通过内置的监控指标和可视化仪表盘开发者可以轻松构建生产级的AI应用监控体系确保系统稳定运行和性能优化。为什么AI应用需要专业监控在实时视频分析和计算机视觉应用中监控系统的健康状况、性能指标和业务指标至关重要。Savant的Prometheus监控体系提供了以下关键能力实时性能监控跟踪帧率、延迟、队列长度等关键指标资源利用率分析监控GPU、CPU、内存使用情况业务指标追踪统计检测对象数量、事件触发次数等故障预警机制及时发现系统异常并告警Savant监控架构解析Savant采用模块化监控架构每个组件都暴露Prometheus格式的指标模块(Module) → Prometheus指标 → Grafana可视化 → 告警系统核心监控组件位于samples/pass_through_processing和samples/buffer_adapter示例中展示了完整的监控实现。快速搭建监控环境1. 配置Prometheus监控Savant的监控配置非常简单只需在docker-compose文件中添加Prometheus和Grafana服务# samples/pass_through_processing/docker-compose.l4t.yml中的配置 prometheus: image: prom/prometheus:v2.48.0 restart: unless-stopped ports: - 9090:9090 volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml grafana: image: grafana/grafana:10.2.0 restart: unless-stopped ports: - 3000:3000 volumes: - ./grafana_datasources:/etc/grafana/provisioning/datasources - ./grafana_dashboards:/etc/grafana/provisioning/dashboards2. 配置指标采集Prometheus配置文件samples/pass_through_processing/prometheus.yml定义了指标采集目标global: scrape_interval: 5s scrape_configs: - job_name: module static_configs: - targets: - module-detector:8080 - module-tracker:8080 - module-draw-func:8080核心监控指标详解系统性能指标Savant自动暴露以下关键性能指标帧处理速率每秒处理的视频帧数处理延迟从接收到处理完成的时间队列长度各处理阶段的待处理帧数GPU利用率GPU计算资源使用情况内存使用系统内存消耗情况业务自定义指标开发者可以通过savant.metrics模块添加自定义业务指标from savant.metrics import get_or_create_counter, get_or_create_gauge # 创建计数器 frame_counter get_or_create_counter( nameframes_processed_total, descriptionTotal number of processed frames, label_names[source_id, object_type] ) # 创建仪表盘 queue_gauge get_or_create_gauge( namepipeline_queue_length, descriptionCurrent queue length in pipeline, label_names[stage] )实战自定义监控指标在samples/pass_through_processing/py_func_metrics_example.py中展示了如何在PyFunc插件中添加监控指标class PyFuncMetricsExample(NvDsPyFuncPlugin): def process_frame(self, buffer: Gst.Buffer, frame_meta: NvDsFrameMeta): # 统计每个视频源的帧数 get_counter().inc(label_values[frame_meta.source_id]) # 获取队列长度指标 last_runtime_metric self.get_runtime_metrics(1)[0] queue_length sum( stage[0].queue_length for stage in last_runtime_metric.stage_stats ) # 设置队列长度仪表盘 get_gauge().set(queue_length)Grafana监控仪表盘Savant提供了预配置的Grafana仪表盘位于samples/pass_through_processing/grafana_dashboards/performance_metrics.json包含1. 性能概览面板显示关键性能指标的实时趋势包括各模块的帧处理速率处理延迟分布队列长度变化2. 资源监控面板监控系统资源使用情况GPU内存使用率GPU计算利用率系统内存消耗CPU使用率3. 业务指标面板展示自定义业务指标检测对象统计事件触发频率异常检测计数生产环境监控最佳实践1. 配置指标标签在module.yml中配置监控参数telemetry: metrics: # 每N帧输出一次统计 frame_period: ${oc.decode:${oc.env:METRICS_FRAME_PERIOD, 10000}} # 每N秒输出一次统计 time_period: ${oc.decode:${oc.env:METRICS_TIME_PERIOD, null}} # 内存中保留的历史统计数量 history: ${oc.decode:${oc.env:METRICS_HISTORY, 100}} # 指标额外标签 extra_labels: ${json:${oc.env:METRICS_EXTRA_LABELS, null}}2. 环境变量配置通过环境变量灵活配置监控METRICS_FRAME_PERIOD1000 METRICS_TIME_PERIOD1 METRICS_EXTRA_LABELS{module_stage:detector,environment:production}3. 告警规则配置在Prometheus中配置告警规则groups: - name: savant_alerts rules: - alert: HighQueueLength expr: savant_pipeline_queue_length 100 for: 5m labels: severity: warning annotations: summary: 高队列长度警告 description: 队列长度持续高于100当前值 {{ $value }}高级监控功能1. 分布式追踪集成Savant支持OpenTelemetry分布式追踪位于samples/telemetry示例2. 缓冲区监控在samples/buffer_adapter示例中展示了缓冲区监控# 监控缓冲区状态 buffer_metrics get_or_create_gauge( namebuffer_usage, descriptionBuffer usage percentage, label_names[buffer_name] )3. 性能基准测试使用benchmarks/benchmark.py进行性能基准测试和监控# 运行性能测试并收集指标 python benchmarks/benchmark.py --metrics-endpoint http://localhost:8080/metrics故障排查与性能优化常见监控场景性能瓶颈定位通过队列长度指标识别处理瓶颈资源泄漏检测监控内存使用趋势发现泄漏问题异常流量识别通过帧率异常检测DDoS攻击服务质量监控跟踪处理延迟确保SLA达标性能优化建议基于监控数据的优化策略队列长度过高增加处理节点或优化算法GPU利用率低调整批次大小或模型优化内存持续增长检查内存泄漏或调整缓存策略延迟波动大优化数据流水线或增加缓冲监控体系扩展1. 自定义导出器集成第三方监控系统from prometheus_client import start_http_server, Summary import prometheus_client # 启动Prometheus HTTP服务器 start_http_server(8080) # 添加自定义指标 custom_metric Summary(custom_processing_seconds, Time spent processing)2. 云原生监控在Kubernetes环境中部署apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: savant-monitor spec: selector: matchLabels: app: savant endpoints: - port: metrics interval: 30s3. 日志与指标关联结合ELK Stack实现日志与指标关联分析import logging from savant.metrics import get_counter logger logging.getLogger(__name__) error_counter get_or_create_counter(processing_errors_total) try: # 处理逻辑 process_frame() except Exception as e: error_counter.inc() logger.error(f处理失败: {e}, extra{metrics: {errors: 1}})总结Savant的Prometheus监控体系为AI视频分析应用提供了完整的监控解决方案。通过内置的指标收集、预配置的Grafana仪表盘和灵活的扩展能力开发者可以快速构建生产级的监控系统。关键优势✅开箱即用预配置的监控仪表盘✅灵活扩展支持自定义业务指标✅生产就绪支持分布式追踪和告警✅性能优化基于数据的智能优化建议开始使用Savant监控只需几个简单步骤即可获得完整的生产级监控能力确保您的AI应用稳定、高效运行如需了解更多监控配置细节请参考项目中的示例代码和配置文件快速上手构建您自己的监控体系。【免费下载链接】SavantPython Computer Vision Video Analytics Framework With Batteries Included项目地址: https://gitcode.com/gh_mirrors/sa/Savant创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考