1. 项目背景与核心需求在嵌入式AI领域车牌识别(LPR)系统的轻量化部署一直是个热门课题。全志系列开发板凭借其出色的性价比和丰富的接口资源成为众多边缘计算项目的首选硬件平台。而LPRNet作为专为车牌识别优化的轻量级神经网络其模型大小仅约1.4MB非常适合在全志Tina Linux等资源受限的环境中运行。但要让模型在实际场景中表现良好数据集的质量直接决定了模型的上限。不同于常规的CV任务车牌识别数据集制作需要特别注意以下特性字符区域必须完整包含省市简称、字母和数字的组合需要覆盖不同光照条件强光/逆光/夜间应包含多种拍摄角度俯拍/侧拍需考虑特殊车牌类型新能源/军警/使馆车辆2. 数据集采集方案设计2.1 硬件配置建议对于准备自制数据集的开发者推荐以下配置方案主摄像头200万像素以上的工业相机如海康威视MV-CE200-10GM辅助设备可调亮度LED补光灯建议色温5500K支架系统带角度调节的云台支架开发板全志T507-H开发板内置NPU加速实测中发现使用自动曝光的消费级摄像头会导致车牌区域过曝建议手动设置曝光参数快门1/500sISO4002.2 拍摄场景规划建议按以下比例配置采集环境场景类型占比说明晴天正午20%测试强光下的识别阴天/雨天30%模拟低对比度环境夜间补光25%测试LED补光效果倾斜角度(30°)25%验证透视变换鲁棒性3. 数据标注规范详解3.1 标注工具选型经过对比测试推荐以下工具链组合LabelImg用于车牌区域标注生成XML格式OpenCV脚本自动提取ROI区域自定义工具处理特殊字符如新能源车牌·分隔符# 示例车牌字符分割脚本 def split_chars(plate_img): gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) thresh cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU)[1] contours cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) chars [x for x in sorted(contours, keylambda c: cv2.boundingRect(c)[0])] return [cv2.boundingRect(c) for c in chars]3.2 标注注意事项省市简称与后续字符间保留2像素间隙新能源车牌需单独标注中间圆点对模糊样本建议进行超分处理推荐使用Real-ESRGAN军警车牌需注意·分隔符的位置标注4. 数据增强策略4.1 基础增强方案建议在以下维度进行增强几何变换随机旋转-15°~15°透视变换最大20%形变色彩扰动HSV空间随机偏移H±10S±30V±20添加高斯噪声σ0.014.2 特殊场景模拟针对实际部署环境建议增加运动模糊模拟车辆移动雨滴效果使用RainRender库镜头污渍随机位置半透明遮挡# 运动模糊效果实现 def motion_blur(img, size15): kernel np.zeros((size, size)) kernel[int((size-1)/2), :] np.ones(size) kernel / size return cv2.filter2D(img, -1, kernel)5. 数据集格式转换5.1 全志NPU适配要求全志系列NPU需要特定格式的输入图像尺寸94x24像素LPRNet标准输入存储格式二进制img格式均值文件需要生成对应的mean_value.txt转换脚本示例python3 convert_dataset.py \ --input_dir ./raw_images \ --output_dir ./train_data \ --width 94 \ --height 24 \ --mean_values 104,117,1235.2 数据集目录结构最终数据集应组织为dataset/ ├── train/ │ ├── images/ # 存放训练图像 │ └── labels.txt # 格式文件名 标签 └── val/ ├── images/ # 验证集图像 └── labels.txt6. 实际部署验证6.1 模型训练建议在全志开发板上训练时需注意批量大小不宜超过8DDR限制使用混合精度训练FP16FP32学习率设置为桌面级的1/56.2 性能优化技巧实测有效的优化手段内存优化使用tensorrt优化模型启用CMA内存分配器计算加速开启NPU的INT8量化使用多线程数据预取在T507开发板上经过优化的LPRNet推理时间可从120ms降至28ms7. 常见问题排查7.1 字符识别错误分析当出现特定字符识别错误时检查该字符在数据集的样本量验证标注是否包含边缘像素测试不同字体渲染的差异7.2 部署异常处理典型问题解决方案现象可能原因解决方法NPU初始化失败内核驱动版本不匹配更新Tina Linux到最新版本内存分配错误CMA配置过小修改/boot/config.txt参数推理结果全零输入数据未归一化检查mean_value.txt是否正确在实际项目中我们发现新能源车牌的识别准确率往往比普通车牌低15-20%这通常是由于训练数据中新能源样本不足导致。建议单独收集至少500张新能源车牌样本进行增量训练。