1. 项目概述电梯作为现代建筑中不可或缺的垂直交通工具其安全管理一直是物业和社区管理的重点难点。传统电梯监控系统主要依赖人工查看录像存在响应滞后、漏检率高、管理效率低下等问题。我们团队开发的这套智能电梯安全监控预警系统通过融合YOLO目标检测和多模态大语言模型技术实现了对电梯内异常情况的智能识别和预警。系统采用前后端分离架构前端基于Vue3TypeScriptElement Plus构建响应式管理界面后端使用Flask框架搭建RESTful API服务算法端整合了YOLOv8目标检测模型和Qwen-VL多模态大语言模型。特别设计的双阶段检测机制第一阶段通过YOLO快速识别潜在风险目标第二阶段利用大语言模型进行场景语义理解大幅降低了误报率。经测试系统在4320张电梯场景图片数据集上达到了96.4%的检测精度。提示系统支持最多9路摄像头并发处理每路视频流通过WebSocket实时传输检测到异常事件会自动录制前后30秒视频片段为后续处理提供完整证据链。2. 系统架构设计2.1 整体技术栈选型前端技术栈选择基于以下考量Vue3TypeScript提供更好的类型检查和代码维护性适合中大型前端项目Element Plus成熟的UI组件库加速管理后台开发Pinia轻量级状态管理替代Vuex的更好选择Vite极速的开发服务器启动和热更新提升开发体验后端技术栈设计思路Flask轻量级Python框架快速搭建RESTful API接口SQLite轻量级嵌入式数据库适合中小型项目快速迭代OpenCV实时视频流处理的核心库支持RTSP协议PyTorch深度学习模型部署框架支持ONNX格式模型算法端关键技术YOLOv8当前最先进的实时目标检测算法平衡精度和速度Qwen-VL通义千问的多模态大模型具备强大的图像理解和推理能力ByteTrack多目标追踪算法解决目标遮挡和ID切换问题2.2 系统模块划分系统采用微服务架构设计主要分为以下子模块视频流处理服务RTSP流拉取和解码视频帧抽帧和预处理WebSocket实时推流自动视频录制存储智能分析服务YOLOv8目标检测Qwen-VL场景理解双阶段检测协调事件聚合和去重数据管理服务用户权限管理检测记录存储案例库维护住户车辆信息管理前端展示服务多窗口视频监控实时告警展示历史记录查询系统配置管理3. 核心功能实现3.1 双阶段检测机制3.1.1 第一阶段目标检测系统提供两种检测器选择可根据实际场景需求灵活配置YOLOv8检测模式使用nano尺寸模型在NVIDIA T4显卡上达到120FPS处理速度检测类别行人、电动自行车、宠物、危险物品等置信度阈值默认0.5可通过管理界面调整实现代码片段from ultralytics import YOLO model YOLO(weights/yolov8n-elevator.pt) results model.predict( sourcertsp://admin:password192.168.1.64:554, conf0.5, streamTrue, classes[0,1] # 只检测人和电动车 )Qwen-VL检测模式更适合复杂场景的语义理解可识别电动车进入电梯、多人拥挤等复合事件响应速度较慢(约2-3秒/帧)适合对实时性要求不高的场景3.1.2 第二阶段场景确认无论第一阶段采用哪种检测器所有阳性结果都会送入Qwen-VL进行确认输入构建原始图像检测框坐标第一阶段检测结果摘要预设的提示词模板输出解析场景确认结果(True/False)详细场景描述(自然语言)处理建议列表紧急程度评估性能优化使用vLLM加速推理实现异步批处理缓存常用查询结果3.2 实时视频流处理3.2.1 WebSocket视频推流关键技术实现要点服务端使用Flask-SocketIO扩展每个客户端独立线程处理帧率自适应控制socketio.on(connect) def handle_connect(): emit(response, {data: Connected}) socketio.on(stream_request) def handle_stream_request(json): camera_id json[camera_id] # 启动视频流处理线程 thread Thread(targetvideo_processing, args(camera_id,)) thread.start()客户端使用H.264编码传输丢帧重传机制带宽自适应调整3.2.2 多路视频并发处理系统采用资源池管理方案检测器池预加载多个YOLO模型实例分析器池维护多个Qwen-VL推理会话动态负载均衡根据GPU利用率自动分配任务注意实际测试中发现在16GB显存的T4显卡上最多可同时处理9路720P视频流(每路5FPS)CPU利用率保持在70%以下。3.3 AI智能建议系统3.3.1 案例库构建流程案例来源历史检测记录转化管理员手动创建外部案例导入案例数据结构{ case_id: C-20240515-001, title: 电动车违规进入电梯, type: electric_bike, severity: high, description: 下午3点左右一名住户推电动车进入5号楼2单元电梯..., suggestion: 1.立即制止行为 2.联系物业处理 3.记录住户信息, media: [img001.jpg, video001.mp4] }3.3.2 建议生成算法关键词提取使用Qwen-VL从当前场景描述中提取5-8个关键词示例[电动车电梯违规下午男性]相似案例搜索Elasticsearch全文检索基于TF-IDF的相似度计算返回Top 3相似案例建议生成将当前场景和相似案例一起输入Qwen-VL要求生成3条具体可操作的建议示例输出1. 通过广播系统立即发出警告 2. 联系5号楼管理员现场处理 3. 记录住户信息并后续教育4. 数据库设计与优化4.1 核心表结构4.1.1 检测记录表(detection_record)字段名类型描述idINTEGER主键camera_idINTEGER关联摄像头start_timeDATETIME事件开始时间end_timeDATETIME事件结束时间objectsJSON检测到的对象列表scene_descTEXT场景描述suggestionTEXT处理建议statusINTEGER处理状态(0未处理,1已处理)4.1.2 住户信息表(resident)字段名类型描述idINTEGER主键buildingVARCHAR(10)楼栋号unitVARCHAR(5)单元号roomVARCHAR(10)房间号nameVARCHAR(20)住户姓名phoneVARCHAR(15)联系电话id_cardVARCHAR(20)身份证号statusINTEGER住户状态4.2 查询性能优化索引设计在detection_record的camera_id和start_time上创建联合索引为resident表的buildingunitroom创建复合索引数据分区按月份对detection_record进行分区热数据保留在SSD存储查询优化-- 优化后的查询示例 EXPLAIN QUERY PLAN SELECT * FROM detection_record WHERE camera_id 3 AND start_time BETWEEN 2024-05-01 AND 2024-05-31 ORDER BY start_time DESC LIMIT 100;5. 部署与性能调优5.1 硬件配置建议组件最低配置推荐配置CPU4核8核及以上内存8GB16GB及以上GPU无NVIDIA T4/P4存储100GB HDD500GB SSD5.2 系统参数调优视频流处理参数video: max_streams: 9 frame_interval: 5 # 抽帧间隔(帧数) record_duration: 30 # 录制时长(秒) resolution: 720p codec: h264模型推理参数models: yolov8: conf_thres: 0.5 iou_thres: 0.45 device: cuda:0 qwen_vl: max_length: 512 temperature: 0.7 top_p: 0.95.3 常见部署问题解决RTSP流无法连接检查摄像头网络可达性验证RTSP地址和凭证测试VLC播放器能否正常播放GPU内存不足减少并发视频流数量使用YOLOv8更小尺寸模型(nano/tiny)启用--half参数使用FP16推理WebSocket延迟高检查网络带宽降低视频流分辨率调整客户端缓冲大小6. 项目扩展方向在实际部署过程中我们发现系统还可以在以下方面进行功能扩展移动端支持开发微信小程序版本实现推送通知功能添加远程语音对讲数据分析增强添加事件热力图展示实现预测性维护提醒生成月度安全报告硬件集成对接电梯控制系统连接门禁系统集成烟雾传感器算法模型优化定制化模型微调添加ReID人员再识别支持更多危险物品检测这套系统在我们合作的三个小区试点运行期间电动车入梯事件减少了82%物业响应速度提升了60%获得了管理部门和住户的一致好评。特别是在早晚高峰时段系统能自动识别拥挤情况并提示分流建议有效缓解了电梯使用矛盾。