1. 项目背景与行业痛点在制药行业干了十几年我见过太多因为包装缺陷导致的药品召回事件。药品泡罩包装业内俗称铝塑板作为片剂、胶囊的主流包装形式其质量直接关系到用药安全。传统的人工检测方式一个熟练工人每天要检查上万粒药品到了下午难免会出现视觉疲劳。记得2018年某药厂就发生过因为夜班工人漏检导致一批缺粒药品流入市场的事故。目前主流的自动化检测设备大多采用传统机器视觉方案通过预设的规则和阈值来判断缺陷。这类系统对光照条件、药品摆放位置要求极高稍微有点偏差就会误判。更头疼的是不同药品的泡罩形状、颜色差异很大每换一个品种就得重新调试参数费时费力。2. 技术选型与方案设计2.1 为什么选择YOLO系列模型在比较了Faster R-CNN、SSD等主流目标检测算法后我们最终锁定YOLO系列主要基于三个实际考量速度优势生产线上的检测节拍通常要求在100ms以内YOLO的单阶段检测特性天然适合实时场景。实测下来YOLOv5s在RTX 3060上跑一张药板图像仅需23ms精度平衡虽然两阶段检测器精度略高但对于泡罩检测这种小目标居多的场景YOLOv8的anchor-free设计反而表现出更好的召回率工业友好性YOLO系列的PyTorch实现生态完善从训练到部署的工具链成熟。特别是YOLOv5提供的export.py能一键转换到ONNX/TensorRT格式2.2 系统架构设计整套系统采用经典的前后端分离架构[工业相机] → [推理服务器] → [MES系统] ↑ [质检员终端] ← [结果数据库]核心模块包括图像采集模块使用Basler ace系列工业相机配合环形光源消除反光推理服务模块基于FastAPI封装模型推理接口业务逻辑模块处理药板追溯码识别、缺陷分类等业务规则人机交互模块PyQt5开发的图形界面支持缺陷标注复核3. 数据集构建与标注实践3.1 数据采集的坑与经验最初我们直接用产线上的正常品拍照结果训练出的模型遇到新型缺陷就抓瞎。后来摸索出一套有效的数据采集方法缺陷模拟与工艺部门合作人为制造各类缺陷样本用镊子取出部分药片模拟缺粒调整热封温度制造泡罩成型不良撒入细小颗粒模拟异物污染多工况覆盖在不同光照条件、不同角度下各采集3组数据正常顶光侧光模拟设备振动导致的阴影低照度模拟光源老化数据增强策略transform A.Compose([ A.RandomBrightnessContrast(p0.5), A.MotionBlur(blur_limit3, p0.2), # 模拟传送带抖动 A.GridDistortion(p0.3), # 模拟包装变形 A.RandomGamma(p0.2) ])3.2 标注规范与技巧使用LabelImg标注时我们制定了严格的标注规范每个泡罩作为一个独立目标缺陷类别细分缺粒missing_pill空泡empty_blister破损broken_pill异物foreign_matter关键技巧对于部分遮挡的泡罩标注可见部分的50%以上才计入避免引入模糊样本最终构建的数据集包含12,845张药板图像平均每张图像含56个泡罩缺陷样本占比15%符合产线实际缺陷率4. 模型训练与优化实战4.1 训练参数配置对比以YOLOv8n为例我们的超参数设置如下lr0: 0.01 # 初始学习率 lrf: 0.1 # 最终学习率衰减系数 momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3.0 warmup_momentum: 0.8 warmup_bias_lr: 0.1关键调整点使用cosine学习率调度避免后期震荡开启mosaic增强但降低概率到0.3小目标过多时mosaic反而有害添加自定义损失权重loss { box: 0.05, # 降低框回归权重 cls: 0.3, # 提高分类权重 dfl: 0.02 }4.2 模型对比实测数据在测试集上的表现对比RTX 3060, TensorRT FP16模型参数量(M)推理时延(ms)mAP0.5缺粒召回率YOLOv5s7.2230.8920.876YOLOv8n3.2180.9010.887YOLOv10n3.8210.9130.902YOLOv8m25.4420.9210.915生产环境选择建议对精度要求高的场景用YOLOv8m追求性价比选YOLOv8n5. 工程部署与性能优化5.1 TensorRT加速实战将PyTorch模型转换到TensorRT的踩坑记录使用YOLOv8官方export.py导出ONNX时务必添加--dynamic参数python export.py --weights best.pt --include onnx --dynamicONNX转TensorRT时显存不足的解决方案builder trt.Builder(TRT_LOGGER) config builder.create_builder_config() config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 30) # 限制1GB5.2 多线程处理框架为提高吞吐量我们设计了三级流水线class InferencePipeline: def __init__(self): self.preprocess_queue Queue(maxsize4) self.infer_queue Queue(maxsize2) self.postprocess_queue Queue(maxsize4) def preprocess_thread(self): while True: img load_image() img preprocess(img) # 归一化padding self.preprocess_queue.put(img) def infer_thread(self): while True: img self.preprocess_queue.get() detections model(img) self.infer_queue.put(detections) def postprocess_thread(self): while True: detections self.infer_queue.get() results nms(detections) save_results(results)实测表明该设计在Intel Xeon Silver 4210上可实现每秒处理45张药板图像。6. 界面设计与交互优化6.1 PyQt5界面核心功能主界面采用三视图设计实时检测视图显示当前相机画面和检测结果历史记录视图按时间轴展示缺陷药板缩略图统计报表视图生成每小时/每班的缺陷率趋势图关键代码片段信号槽连接class MainWindow(QMainWindow): def __init__(self): self.start_btn.clicked.connect(self.start_inference) self.stop_btn.clicked.connect(self.stop_inference) self.export_btn.clicked.connect(self.export_report) def update_result(self, img, results): self.result_view.setPixmap(QPixmap.fromImage(img)) for *xyxy, conf, cls in results: self.draw_box(xyxy, cls)6.2 用户体验优化点颜色编码系统红色边框缺粒最高优先级黄色边框空泡蓝色边框其他缺陷声音提示设计连续短鸣发现一般缺陷长鸣连续3板出现同类缺陷可能设备故障快捷键方案F1暂停检测F2保存当前结果F3切换视图模式7. 产线实测与调优记录7.1 现场部署问题排查在首批试点产线遇到的典型问题误检问题现象铝箔反光被误判为缺粒解决方案调整环形光源角度增加偏振片漏检问题现象部分边缘泡罩检测不到修复修改模型输入分辨率从640→1280性能波动现象连续运行后推理速度下降根因GPU温度过高导致降频改进增加机箱风扇设置推理间隔冷却7.2 系统稳定性提升采取的可靠性措施看门狗机制每5分钟检查一次服务心跳断点续传相机断线后自动重连并补拍冗余存储检测结果同时写入本地和网络数据库最终达到的运行指标平均无故障时间45天最大连续运行时长6个月需定期清灰8. 效果验证与业务价值8.1 量化指标对比与传统检测方式对比指标人工检测传统视觉本系统检测速度(板/分钟)30120300缺粒检出率92.3%85.7%98.6%误检率1.2%3.5%0.8%人力成本(人/线)20.50.28.2 实际业务收益在某制药企业3条包装线的应用成果年减少质量事故23起 → 2起客户投诉下降67%人工成本节约1.2M/年通过FDA现场审计时获得特别表扬9. 扩展应用与未来改进9.1 同类场景迁移本方案经少量调整即可应用于食品行业的泡罩包装检测如口香糖板电子元件的载带包装检测医疗器械的灭菌包装检测9.2 技术演进方向加入少样本学习能力适应新药板类型的快速迭代开发基于3D视觉的泡罩高度检测模块与MES系统深度集成实现缺陷根因分析在最近一次系统升级中我们加入了defect-GAN模块通过生成对抗网络扩充罕见缺陷样本使空泡检测的召回率又提升了2.3个百分点。这让我深刻体会到工业AI项目的优化永无止境必须持续跟进最新技术进展。