这次我们来看一个非常经典的计算机视觉实战项目使用 OpenCV 和 YOLOv5 实现实时目标检测。对于计算机视觉、深度学习方向的初学者或者正在寻找毕业设计、课程项目灵感的同学来说这是一个绝佳的入门和练手选择。它不只是一个简单的代码演示而是涵盖了从环境搭建、模型加载、图像处理到实时视频流推理的完整流程。这个项目的核心价值在于“可落地”。你不需要从零开始推导复杂的算法而是直接上手一个成熟的框架组合快速看到目标检测的效果。OpenCV 负责图像/视频的读取、处理和显示YOLOv5 则提供强大且高效的深度学习检测能力。两者结合你就能在本地电脑上搭建一个实时目标检测系统识别摄像头画面或视频文件中的物体。本文将带你从零开始一步步完成这个项目的部署和测试。我们会重点关注几个实际问题环境配置的坑怎么避模型从哪里下载代码如何运行显存占用多少CPU 能不能跑以及如何将这个项目扩展成你自己的毕设或实战作品。如果你关心本地部署、资源占用和实际效果验证那么这篇文章可以直接收藏备用。1. 核心能力速览在深入细节之前我们先快速了解这个技术栈组合的核心能力和门槛。能力项说明项目类型计算机视觉实战项目结合传统图像库与深度学习模型核心技术栈OpenCV (图像处理) PyTorch (深度学习框架) YOLOv5 (目标检测模型)主要功能图片目标检测、实时摄像头目标检测、视频文件目标检测硬件门槛GPU (推荐)可大幅加速推理CPU (可用)推理速度较慢但完全可运行显存占用使用 YOLOv5s (小模型) 时显存占用通常在1GB 以下6G/8G 显存的显卡游刃有余。CPU 模式仅占用内存。支持平台Windows, Linux, macOS启动方式命令行运行 Python 脚本是否支持 API原生脚本不支持但可轻松改造为 Flask/FastAPI 服务提供 HTTP API是否支持批量任务支持可通过脚本遍历图片/视频文件夹进行批量检测适合场景深度学习入门实践、计算机视觉课程设计、毕业设计原型、实时监控 demo、算法效果验证从表格可以看出这个项目的硬件门槛非常友好。即使你只有一台集成显卡的笔记本电脑也能在 CPU 模式下跑通整个流程体验完整的深度学习目标检测。当然拥有一块 GPU哪怕是 GTX 1060 6G 这种老卡会让体验流畅很多。2. 适用场景与使用边界这个项目适合谁深度学习/计算机视觉初学者想通过一个完整项目理解从数据到结果的 pipeline。高校学生正在寻找课程设计、毕业设计或科研训练项目的课题。算法工程师需要快速验证 YOLO 系列模型在特定场景下的基础效果。开发者希望为自己的应用如安防、零售分析添加基础的物体识别能力。它能解决什么问题快速验证在本地快速搭建一个可运行的目标检测 Demo直观感受模型能力。学习闭环体验“环境配置 - 模型下载 - 代码编写 - 推理测试 - 结果可视化”的完整开发流程。项目基石以此为基础可以扩展为更复杂的系统如添加 DeepSORT 实现多目标跟踪、集成到 Web 服务、或针对特定数据集进行模型微调。不适合什么场景超低延迟工业级应用原生 Python 脚本在极端性能要求下可能需要优化如使用 C 接口、TensorRT 加速。直接商用部署需要考虑模型许可证YOLOv5 采用 AGPL-3.0 许可证、系统稳定性、以及针对具体业务的模型优化。处理超高清视频流高分辨率输入会显著增加计算负载可能需要调整模型输入尺寸或使用更强大的硬件。版权与合规提醒模型使用YOLOv5 是开源项目使用时请遵守其 AGPL-3.0 许可证。用于商业项目前请仔细阅读相关条款。数据隐私如果处理涉及人脸的实时视频务必注意隐私保护。在公共区域测试时应避免采集和存储可识别个人身份的信息。素材授权用于测试的图片和视频请确保拥有使用权或来自开源数据集。3. 环境准备与前置条件在开始写代码之前我们需要把“战场”准备好。一个清晰、隔离的 Python 环境是成功的第一步它能避免各种依赖包版本冲突的“玄学”问题。1. 操作系统Windows 10/11, Ubuntu 18.04/20.04/22.04, 或 macOS。本文以 Windows 为例Linux/macOS 命令略有不同。2. Python 版本推荐使用Python 3.8 或 3.9。这是 PyTorch 和 YOLOv5 兼容性较好的版本。不建议使用 Python 3.10 以上版本可能会遇到依赖包不兼容的问题。3. 包管理工具Anaconda(推荐)方便创建独立的虚拟环境。pipPython 自带的包管理器。4. 深度学习框架与显卡驱动 (GPU用户)PyTorchYOLOv5 基于 PyTorch 实现。CUDA cuDNN如果你有 NVIDIA GPU 并希望使用 GPU 加速需要安装与 PyTorch 版本匹配的 CUDA 和 cuDNN。PyTorch 官网提供了预编译的、包含对应 CUDA 版本的 PyTorch 安装命令。显卡驱动确保你的 NVIDIA 显卡驱动是最新的。5. 硬件检查清单CPU现代多核处理器即可。内存建议 8GB 或以上。GPU (可选但推荐)NVIDIA GPU显存 2GB 以上即可运行 YOLOv5s。4GB 或以上体验更佳。磁盘空间预留 2-3GB 空间用于安装环境和下载模型。4. 安装部署与启动方式接下来我们一步步搭建环境并运行项目。4.1 创建并激活虚拟环境使用 Conda 创建一个名为yolov5_opencv的新环境。# 创建环境指定Python版本为3.8 conda create -n yolov5_opencv python3.8 # 激活环境 (Windows) conda activate yolov5_opencv # 激活环境 (Linux/macOS) # source activate yolov5_opencv # 旧版本conda # conda activate yolov5_opencv # 新版本conda4.2 安装 PyTorch 和 OpenCV首先安装 PyTorch。访问 PyTorch 官网 根据你的系统、包管理器和 CUDA 版本如果有选择对应的安装命令。例如对于 Windows 系统、使用 Conda 包管理器、且有 CUDA 11.3 的用户conda install pytorch torchvision torchaudio cudatoolkit11.3 -c pytorch对于只有 CPU 的用户conda install pytorch torchvision torchaudio cpuonly -c pytorch然后安装 OpenCV 和其他必要的库pip install opencv-python # 安装OpenCV pip install matplotlib # 用于绘图 pip install pandas # 可能用于数据处理 pip install pyyaml # 用于读取配置文件 pip install tqdm # 显示进度条 pip install seaborn # 可选用于美化图表4.3 克隆 YOLOv5 官方仓库YOLOv5 的代码、模型权重和工具都在其 GitHub 仓库中。我们将其克隆到本地。# 克隆仓库 (如果git速度慢可以在GitHub页面下载ZIP包) git clone https://github.com/ultralytics/yolov5.git cd yolov5 # 安装YOLOv5项目自身的依赖项 (requirements.txt) pip install -r requirements.txt进入yolov5目录后你会看到很多文件和文件夹其中detect.py是我们即将使用的推理脚本。4.4 下载预训练模型YOLOv5 提供了多种预训练模型从轻量到高精度YOLOv5s最小、最快精度尚可。推荐初学者使用。YOLOv5m中等。YOLOv5l大。YOLOv5x最大、最慢、精度最高。模型文件 (.pt) 会在第一次运行detect.py时自动从 GitHub Releases 下载。但国内下载可能较慢你也可以手动下载。 以 YOLOv5s 为例手动下载命令如下# 在 yolov5 目录下执行 wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.pt或者直接在浏览器中打开上述链接下载并将yolov5s.pt文件放在yolov5目录下。4.5 验证安装运行一个简单的测试确保一切正常。这行命令会使用 YOLOv5s 模型对data/images文件夹下的示例图片进行检测。python detect.py --source data/images --weights yolov5s.pt --conf 0.25如果看到终端开始打印日志并在最后提示结果保存在runs/detect/exp目录下且该目录中生成了带检测框的图片说明环境配置成功5. 功能测试与效果验证环境跑通了我们来实际测试它的几个核心功能。5.1 基础功能图片目标检测这是最基础的功能。我们使用官方示例图片进行测试。操作步骤确保在yolov5目录下。运行检测命令。查看输出结果。命令示例python detect.py --source data/images/bus.jpg --weights yolov5s.pt --conf 0.25 --save-txt参数解释--source: 指定输入源可以是图片路径、视频路径、摄像头编号如0代表默认摄像头、或包含图片的文件夹路径。--weights: 指定使用的模型权重文件。--conf: 置信度阈值。低于此值的检测框将被过滤掉。值越高检测出的目标越可靠但数量可能越少。--save-txt: 将检测结果类别、坐标保存为 YOLO 格式的.txt文件。预期结果终端会显示推理速度如0.5ms pre-process, 5.2ms inference, 1.2ms NMS per image。检测结果图片会保存在runs/detect/exp或exp2,exp3...目录下。如果使用了--save-txt同目录下会生成对应的.txt文件。判断成功打开输出图片能看到 bus 和 persons 被正确地用矩形框标出并显示了类别标签和置信度。5.2 核心功能实时摄像头目标检测这是“实时”二字的体现。我们将使用电脑自带的摄像头或外接USB摄像头。操作步骤确保摄像头连接正常。运行命令将源指定为摄像头。命令示例python detect.py --source 0 --weights yolov5s.pt --conf 0.25这里的0通常代表系统默认摄像头。如果是外接摄像头可能需要尝试1或其他数字。预期结果会弹出一个新窗口实时显示摄像头画面。画面中出现的物体如人、杯子、键盘会被实时检测并框出。按Esc键或关闭窗口可以退出程序。性能观察在终端你可以看到实时刷新的推理速度FPS。这个值取决于你的硬件CPU/GPU。GPU 模式在 GTX 1060 6G 上使用 YOLOv5s 模型FPS 可能达到30-60非常流畅。CPU 模式在 i7-10750H 上FPS 可能在5-10左右有肉眼可见的延迟但功能完整。5.3 扩展功能视频文件目标检测处理已有的视频文件比如分析一段行车记录仪视频。操作步骤准备一个.mp4或.avi格式的视频文件例如test_video.mp4。将其放在yolov5目录下或使用绝对路径。命令示例python detect.py --source test_video.mp4 --weights yolov5s.pt --conf 0.25预期结果程序会逐帧处理视频并弹窗显示处理结果。处理完成后在runs/detect/exp目录下会生成一个同名的、带有检测框的输出视频文件。5.4 进阶测试批量图片检测与自定义模型批量处理图片文件夹python detect.py --source path/to/your/image_folder --weights yolov5s.pt --conf 0.25程序会自动遍历文件夹内所有支持的图片格式jpg, png, jpeg 等并输出到同一个结果文件夹。使用更大的模型如 YOLOv5m以获取更高精度python detect.py --source data/images --weights yolov5m.pt --conf 0.25首次运行会自动下载yolov5m.pt模型。注意模型越大推理速度越慢显存占用越高。6. 接口 API 与批量任务原生的detect.py脚本是一个命令行工具。但在实际项目中我们常常需要将其服务化以便其他程序调用。这里提供一个简单的 Flask Web API 改造思路。6.1 将检测功能封装为函数首先我们创建一个新的 Python 文件例如detect_api.py将核心检测逻辑提取出来。# detect_api.py import cv2 import torch from pathlib import Path import numpy as np # 加载模型 (全局变量避免重复加载) model None def load_model(weights_pathyolov5s.pt): global model if model is None: model torch.hub.load(ultralytics/yolov5, custom, pathweights_path, force_reloadFalse) return model def detect_image(model, img_array, conf_thres0.25): 对输入的numpy图像数组进行检测 Args: model: 加载好的YOLOv5模型 img_array: numpy数组格式的图片 (BGR格式与OpenCV读取一致) conf_thres: 置信度阈值 Returns: result_img: 绘制了检测框的图片 (numpy数组) detections: 检测结果列表每个元素为 [x1, y1, x2, y2, conf, class] # 推理 results model(img_array, size640) # size可以调整影响速度和精度 # 获取检测结果 detections results.xyxy[0].cpu().numpy() # 格式: [x1, y1, x2, y2, confidence, class] # 过滤低置信度结果 detections detections[detections[:, 4] conf_thres] # 绘制结果到原图 result_img img_array.copy() for *box, conf, cls in detections: x1, y1, x2, y2 map(int, box) label f{model.names[int(cls)]} {conf:.2f} # 画框 cv2.rectangle(result_img, (x1, y1), (x2, y2), (0, 255, 0), 2) # 写标签 cv2.putText(result_img, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) return result_img, detections6.2 创建 Flask API 服务然后基于 Flask 框架创建一个简单的 HTTP 服务。# app.py from flask import Flask, request, jsonify, send_file import cv2 import numpy as np import io from PIL import Image from detect_api import load_model, detect_image app Flask(__name__) model load_model() # 启动时加载模型 app.route(/detect, methods[POST]) def detect(): 接收图片文件返回检测后的图片和JSON结果 if file not in request.files: return jsonify({error: No file part}), 400 file request.files[file] if file.filename : return jsonify({error: No selected file}), 400 # 读取图片 img_bytes file.read() img_np np.frombuffer(img_bytes, np.uint8) img cv2.imdecode(img_np, cv2.IMREAD_COLOR) if img is None: return jsonify({error: Invalid image}), 400 # 进行检测 conf_thres float(request.form.get(conf, 0.25)) result_img, detections detect_image(model, img, conf_thres) # 将结果图片转换为字节流 _, img_encoded cv2.imencode(.jpg, result_img) img_io io.BytesIO(img_encoded.tobytes()) # 准备JSON响应 detections_list [] for det in detections: x1, y1, x2, y2, conf, cls det detections_list.append({ bbox: [int(x1), int(y1), int(x2), int(y2)], confidence: float(conf), class: int(cls), class_name: model.names[int(cls)] }) # 这里简化处理只返回JSON。实际可返回图片或打包成zip。 return jsonify({ detections: detections_list, count: len(detections_list) }) if __name__ __main__: # 启动服务默认端口5000 app.run(host0.0.0.0, port5000, debugFalse) # 生产环境请设置debugFalse6.3 启动服务并调用 API启动服务python app.py终端会显示* Running on http://0.0.0.0:5000。调用 API (使用 curl 或 Python requests)# 使用curl测试 curl -X POST -F filetest.jpg -F conf0.3 http://127.0.0.1:5000/detect# 使用Python requests测试 import requests url http://127.0.0.1:5000/detect files {file: open(test.jpg, rb)} data {conf: 0.3} response requests.post(url, filesfiles, datadata) print(response.json())批量任务处理有了 API批量处理就很简单了。写一个脚本遍历文件夹依次调用 API 即可。注意这种方式HTTP调用会有网络开销对于大批量数据更高效的方式是直接导入上面的detect_image函数进行循环处理。7. 资源占用与性能观察了解资源占用情况有助于你评估项目对硬件的要求并优化运行效率。如何观察资源占用Windows使用任务管理器查看“性能”选项卡下的 GPU 和内存使用情况。Linux使用nvidia-smi命令查看 GPU 使用情况使用htop或top查看 CPU 和内存。典型资源占用 (以 YOLOv5s 模型输入尺寸 640x640 为例)GPU 模式 (如 GTX 1060 6G)显存占用约700MB - 1.2GB。启动初期加载模型时会有峰值稳定推理后维持在较低水平。GPU 利用率推理时接近 100%空闲时下降。内存占用Python 进程约占用 1-2GB 系统内存。CPU 模式 (如 i7-10750H)显存占用0 GB。CPU 利用率推理时可能有一个核心跑满总体利用率取决于代码是否优化了多线程。内存占用与 GPU 模式类似约 1-2GB。影响性能的关键参数模型大小 (--weights)yolov5syolov5myolov5lyolov5x。模型越大精度可能越高但速度越慢显存占用越大。推理尺寸 (--imgsz)默认是 640。你可以通过--imgsz 320来缩小输入图像尺寸这会显著提升速度但可能降低对小目标的检测精度。增大尺寸如--imgsz 1280则相反。置信度阈值 (--conf)阈值越高需要处理的后验框越少NMS非极大值抑制步骤越快但可能漏检。批量大小detect.py默认批量大小为 1。对于图片批量检测可以修改代码或使用其他接口设置更大的批量大小batch size这能更充分地利用 GPU 并行计算能力提高吞吐量。优化建议追求速度使用yolov5s模型降低imgsz如 320。追求精度使用yolov5x模型提高imgsz如 1280但需要更强的 GPU。平衡选择yolov5m或yolov5l通常是精度和速度的较好平衡点。CPU 用户确保安装了onnxruntime或openvino等优化库并尝试将模型转换为 ONNX 格式进行推理可能获得加速。8. 常见问题与排查方法在部署和运行过程中你可能会遇到一些问题。下表列出了常见问题及其解决方法。问题现象可能原因排查方式解决方案ModuleNotFoundError: No module named cv2OpenCV 未安装或未安装在当前环境。在终端输入pip list查看是否有opencv-python。在正确的虚拟环境中运行pip install opencv-python。ImportError: libGL.so.1: cannot open shared object file(Linux)Linux 系统缺少 OpenCV 的图形库依赖。检查错误信息。安装缺失的库sudo apt-get install libgl1-mesa-glx。Torch not compiled with CUDA enabledPyTorch 安装的是 CPU 版本但代码尝试使用 GPU。在 Python 中运行import torch; print(torch.cuda.is_available())返回False。重新安装支持 CUDA 的 PyTorch。去官网选择对应 CUDA 版本的安装命令。模型下载失败或极慢网络连接问题GitHub 国内访问可能不稳定。观察下载进度条是否长时间不动。1. 手动下载.pt文件放到项目根目录。2. 使用国内镜像源。3. 配置网络代理注意合规性。摄像头打不开 (--source 0报错)摄像头被其他程序占用或摄像头索引错误。尝试使用cv2.VideoCapture(0)单独测试摄像头。1. 关闭可能占用摄像头的软件如微信、Zoom。2. 尝试不同的索引号0, 1, 2...。3. 检查摄像头驱动。推理速度非常慢 (FPS 1)1. 在 CPU 模式下运行大模型。2. 输入分辨率 (imgsz) 设置过高。检查任务管理器/nvidia-smi看是 CPU 还是 GPU 在忙。1. 确认 PyTorch 是否使用了 GPU (print(torch.cuda.current_device()))。2. 换用更小的模型 (yolov5s)。3. 降低imgsz参数。检测框数量为0或很少置信度阈值 (--conf) 设置过高。查看终端输出的检测结果数量。逐步降低--conf参数值例如从 0.25 降到 0.1。内存/显存不足 (OOM Error)1. 模型太大。2. 批量大小 (batch-size) 设置过大。3. 输入图片分辨率太高。观察错误发生时的内存/显存使用率。1. 换用yolov5s或yolov5n模型。2. 确保--batch-size为 1detect.py 默认。3. 降低--imgsz。detect.py运行无任何输出可能路径错误或命令参数有误。检查--source指定的文件或摄像头是否存在。使用绝对路径。对于摄像头先尝试用0。在命令末尾添加--view-img确保显示窗口。9. 最佳实践与使用建议为了让这个项目更好地为你服务这里有一些工程化和学习上的建议。环境隔离是王道始终在虚拟环境Conda 或 venv中操作。为不同的项目创建不同的环境避免依赖冲突。从轻量模型开始第一次运行务必使用yolov5s.pt。它能让你最快地验证整个流程是否通畅避免因硬件不足导致的挫败感。建立项目目录结构不要把所有文件都堆在yolov5官方目录下。建议的目录结构your_project/ ├── yolov5/ # 克隆的官方仓库 ├── my_scripts/ # 你自己写的脚本如 detect_api.py, app.py ├── input_data/ # 存放待检测的图片、视频 ├── output_results/ # 存放检测结果 └── requirements.txt # 记录你额外安装的依赖善用命令行参数detect.py有很多有用的参数例如--save-txt保存检测框的坐标信息用于后续分析。--save-conf在保存的标签文件中包含置信度。--name指定输出结果文件夹的名称避免每次都是exp。--exist-ok允许结果覆盖到已有的文件夹。为毕设/项目添加“亮点”功能扩展集成 DeepSORT 实现多目标跟踪。场景定制使用你自己的数据集如特定种类的商品、车辆、仪器对 YOLOv5 进行微调fine-tuning。界面优化使用 PyQt、Tkinter 或 Web 前端如 Gradio、Streamlit做一个更友好的图形界面。部署优化将 PyTorch 模型转换为 ONNX、TensorRT 或 OpenVINO 格式提升推理速度并尝试在边缘设备如 Jetson Nano上部署。版权与伦理意识如果你的项目涉及人脸、车牌等敏感信息在公开演示或论文中务必对结果进行打码处理。使用开源模型和数据集时遵守对应的许可证。10. 总结与下一步通过本文你应该已经成功在本地搭建了 OpenCV YOLOv5 的实时目标检测环境并测试了图片、摄像头和视频检测功能。这个组合的强大之处在于其“开箱即用”的易用性和强大的社区支持。最值得尝试的点极低的入门门槛几行命令就能跑起一个业界领先的检测模型。清晰的性能表现你可以直观地感受到不同硬件CPU/GPU、不同模型尺寸s/m/l/x带来的速度与精度差异。极高的可扩展性无论是作为 API 服务、还是作为毕设核心模块它都提供了坚实的基础。最先应该验证的功能 毫无疑问是实时摄像头检测。打开摄像头看着模型实时框出你周围的物体这种即时反馈是学习深度学习应用最好的激励。最容易踩的坑环境配置PyTorch 的 CUDA 版本与显卡驱动不匹配。务必对照 PyTorch 官网的安装命令。路径问题命令行中文件路径包含空格或中文导致程序找不到文件。尽量使用英文路径和短路径。模型下载首次运行因网络问题卡住。提前手动下载模型文件是最稳妥的方案。后续可以探索的方向模型训练尝试使用 Roboflow、LabelImg 等工具标注你自己的数据集然后使用 YOLOv5 的train.py脚本训练一个定制化模型。多目标跟踪研究如何将 YOLOv5 与 DeepSORT、ByteTrack 等跟踪算法结合实现视频中物体的持续跟踪。模型压缩与加速学习如何使用 TensorRT、OpenVINO 或 ONNX Runtime 对训练好的模型进行优化追求极致的推理速度。跨平台部署探索将模型部署到移动端Android/iOS或嵌入式设备树莓派、Jetson系列上的方案。这个项目就像一把钥匙为你打开了计算机视觉和深度学习应用的大门。接下来的路就看你如何用它去解决实际的问题或者构建更酷的项目了。建议收藏本文在遇到问题时回来查阅排查清单。