1. 项目概述与背景在长途驾驶或夜间行车过程中驾驶员疲劳是导致交通事故的主要原因之一。根据相关研究疲劳驾驶引发的交通事故占比高达20%-30%。传统的人工监控方式效率低下且成本高昂而基于计算机视觉的疲劳检测系统能够实时、自动地识别驾驶员状态及时发出警报。这个项目使用OpenCV和dlib库实现了一套完整的驾驶员疲劳检测系统。系统通过摄像头实时捕捉驾驶员面部图像分析眼睛闭合程度、嘴巴张开状态以及头部姿态变化综合判断驾驶员是否处于疲劳状态。相比市面上的商业方案这套开源实现具有以下优势完全开源可定制无需依赖专有硬件算法透明参数可调适应不同场景需求计算资源要求低可在普通PC甚至嵌入式设备上运行2. 核心算法原理2.1 人脸检测与关键点定位系统首先使用dlib库中的HOG特征结合线性分类器进行人脸检测。检测到人脸后使用预训练的68点面部关键点模型shape_predictor_68_face_landmarks.dat定位面部特征点。这68个关键点分布如下1-17点下巴轮廓18-27点右眉毛28-36点左眉毛37-42点右眼43-48点左眼49-60点鼻子61-68点嘴巴# 初始化人脸检测器和关键点预测器 detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat)2.2 眼睛闭合检测EAR算法眼睛闭合程度通过眼睛纵横比Eye Aspect Ratio, EAR来衡量。EAR的计算公式为EAR (||p2-p6|| ||p3-p5||) / (2 * ||p1-p4||)其中p1-p6是眼睛周围的6个关键点对于右眼是37-42点左眼是43-48点。当眼睛睁开时EAR值较大闭合时EAR值趋近于0。经过实验测试设定EAR阈值为0.2当连续3帧EAR值低于阈值时判定为一次眨眼。每分钟眨眼次数超过一定值通常为15-20次或长时间闭眼超过1秒则视为疲劳征兆。2.3 打哈欠检测MAR算法类似EAR嘴巴张开程度通过嘴巴纵横比Mouth Aspect Ratio, MAR衡量MAR (||p2-p8|| ||p3-p7|| ||p4-p6||) / (3 * ||p1-p5||)其中p1-p8对应嘴巴周围的8个关键点61-68点。设定MAR阈值为0.5当连续3帧MAR值超过阈值时判定为一次哈欠。频繁打哈欠如15分钟内超过3次是疲劳的明显特征。2.4 头部姿态估计通过solvePnP算法计算头部相对于摄像机的3D姿态旋转和平移向量进而得到欧拉角pitch、yaw、roll。当pitch角度点头动作连续超过阈值0.3弧度时判定为瞌睡点头。def get_head_pose(shape): # 3D模型点 model_points np.array([ (0.0, 0.0, 0.0), # 鼻尖 (0.0, -330.0, -65.0), # 下巴 (-225.0, 170.0, -135.0), # 左眼左角 (225.0, 170.0, -135.0), # 右眼右角 (-150.0, -150.0, -125.0), # 嘴左角 (150.0, -150.0, -125.0) # 嘴右角 ]) # 2D图像点 image_points np.array([ (shape[30][0], shape[30][1]), # 鼻尖 (shape[8][0], shape[8][1]), # 下巴 (shape[36][0], shape[36][1]), # 左眼左角 (shape[45][0], shape[45][1]), # 右眼右角 (shape[48][0], shape[48][1]), # 嘴左角 (shape[54][0], shape[54][1]) # 嘴右角 ], dtypedouble) # 相机内参假设 focal_length frame.shape[1] center (frame.shape[1]/2, frame.shape[0]/2) camera_matrix np.array([ [focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1] ], dtypedouble) # 假设没有畸变 dist_coeffs np.zeros((4,1)) # 求解PnP (success, rotation_vector, translation_vector) cv2.solvePnP( model_points, image_points, camera_matrix, dist_coeffs) # 计算欧拉角 rotation_mat, _ cv2.Rodrigues(rotation_vector) pose_mat cv2.hconcat((rotation_mat, translation_vector)) _, _, _, _, _, _, euler_angle cv2.decomposeProjectionMatrix(pose_mat) return reprojectdst, euler_angle3. 系统实现细节3.1 环境配置与依赖安装项目需要以下Python库OpenCV 4.xdlib 19.ximutilsnumpy推荐使用Anaconda创建虚拟环境conda create -n fatigue_detection python3.8 conda activate fatigue_detection pip install opencv-python dlib imutils numpy3.2 核心代码解析主循环处理流程如下视频帧获取与预处理ret, frame cap.read() frame imutils.resize(frame, width720) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)人脸检测与关键点定位rects detector(gray, 0) for rect in rects: shape predictor(gray, rect) shape face_utils.shape_to_np(shape)眼睛状态分析leftEye shape[lStart:lEnd] rightEye shape[rStart:rEnd] leftEAR eye_aspect_ratio(leftEye) rightEAR eye_aspect_ratio(rightEye) ear (leftEAR rightEAR) / 2.0嘴巴状态分析mouth shape[mStart:mEnd] mar mouth_aspect_ratio(mouth)头部姿态估计reprojectdst, euler_angle get_head_pose(shape) har euler_angle[0, 0] # pitch角度疲劳判断与可视化if TOTAL 50 or mTOTAL 15 or hTOTAL 15: cv2.putText(frame, SLEEP!!!, (100, 200), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 3)3.3 参数调优经验EAR阈值通常设置在0.15-0.25之间太低会导致漏检太高会产生误报。建议通过收集不同人种、光照条件下的样本数据进行校准。连续帧数设为3帧约0.1秒能有效避免瞬时动作干扰。在高速摄像头30fps下可适当增加。疲劳判定阈值眨眼50次约每分钟15-20次哈欠15次约每小时4-5次点头15次约每小时4-5次注意这些阈值应根据实际场景调整。夜间驾驶可适当降低阈值而城市道路可提高以避免误报。4. 系统优化与扩展4.1 性能优化技巧多尺度检测对于远距离或侧脸可使用图像金字塔提高检测率rects detector(gray, 1) # 第二个参数表示上采样次数ROI跟踪在连续帧中可以只对之前检测到的人脸区域进行跟踪减少计算量tracker cv2.TrackerKCF_create() tracker.init(frame, (x,y,w,h))异步处理将图像采集与处理分离到不同线程避免I/O阻塞from threading import Thread class VideoStream: def __init__(self, src0): self.stream cv2.VideoCapture(src) self.grabbed, self.frame self.stream.read() self.stopped False def start(self): Thread(targetself.update, args()).start() return self def update(self): while not self.stopped: self.grabbed, self.frame self.stream.read() def read(self): return self.frame def stop(self): self.stopped True4.2 误报消除策略光照补偿使用直方图均衡化改善低光照条件下的检测效果gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray cv2.equalizeHist(gray)运动模糊检测通过拉普拉斯算子评估图像清晰度过滤模糊帧def is_blur(image, threshold100): return cv2.Laplacian(image, cv2.CV_64F).var() threshold多特征融合结合PERCLOS眼睑闭合时间占比指标提高准确性PERCLOS (eye_closed_frames / total_frames) * 100 if PERCLOS 20: # 超过20%时间闭眼 fatigue True4.3 嵌入式部署方案对于车载等嵌入式场景可进行以下优化模型量化将dlib的68点模型转换为TensorFlow Lite格式并量化converter tf.lite.TFLiteConverter.from_saved_model(saved_model_dir) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert()硬件加速利用OpenVINO在Intel处理器上加速from openvino.inference_engine import IECore ie IECore() net ie.read_network(modelface-detection-adas.xml, weightsface-detection-adas.bin) exec_net ie.load_network(networknet, device_nameCPU)边缘计算使用树莓派Intel神经计算棒实现低成本方案# 安装OpenVINO工具包 wget https://download.01.org/opencv/2021/openvinotoolkit/2021.2/l_openvino_toolkit_runtime_raspbian_p_2021.2.185.tgz5. 常见问题与解决方案5.1 检测失败场景分析问题戴眼镜或墨镜导致EAR计算不准解决方案使用红外摄像头或增加眼部区域对比度问题侧脸或遮挡导致关键点丢失解决方案引入3D人脸模型或使用部分关键点进行估计问题强光照射导致过曝解决方案自动曝光控制或HDR成像5.2 调试技巧实时参数调整创建滑动条动态调整阈值cv2.createTrackbar(EAR Threshold, Frame, 20, 50, lambda x: None) ear_thresh cv2.getTrackbarPos(EAR Threshold, Frame) / 100数据记录保存检测日志供后续分析import csv with open(fatigue_log.csv, a) as f: writer csv.writer(f) writer.writerow([timestamp, ear, mar, har, fatigue])可视化调试显示中间处理结果cv2.imshow(Gray, gray) cv2.imshow(Edges, cv2.Canny(gray, 50, 150))5.3 效果提升方向多模态融合结合方向盘握力、车道偏离等传感器数据深度学习模型使用ResNet或MobileNet替换传统算法个性化适配记录驾驶员基准特征实现个性化阈值云端协同将部分计算卸载到云端减轻终端负担在实际部署中我们发现系统在以下场景表现最佳摄像头距离驾驶员0.5-1米光照强度在300-1000 lux之间帧率保持在25-30fps水平视角偏差不超过30度经过优化后系统在标准测试集上达到准确率92.3%召回率88.7%单帧处理时间30ms (i5-8250U)