做水果分选设备的朋友应该都有同感表面缺陷的自动检测往往是整条分选线里最难啃的一块骨头。果实大小、重量可以用机械机构或卡尺解决颜色分级也能用固定阈值的色选模块搞定但“表面有压伤、腐烂、果锈、划痕、畸形、虫眼”这类缺陷形态千变万化传统的图像处理方法换个品种、换批光源就不太灵了。这篇内容从一个模拟水果质量检测项目说起梳理了用于缺陷水果分选的机器学习算法研究思路重点给出Matlab代码实现层面的完整路径包括数据准备、特征工程、模型选型、训练调参和部署接口设计。适合正在做农业视觉检测、食品分选设备或者刚接触图像分类项目的开发者参考尤其是想用Matlab快速跑通一套可复现实验流程的人。1. 为什么缺陷水果分选值得用机器学习——问题分析与技术选型1.1 缺陷水果分选到底要解决什么问题我在做模拟项目X的时候遇到过这样的现场情况果农把刚采摘的苹果倒上分选线希望按直径、颜色、表面缺陷分成三五个等级。前两项目标用传统机构加相机卡尺就能解决但“表面缺陷”这一项靠人工分拣的效率非常有限。人工目检每小时要看几千个果连续作业两三个小时后漏检率和误检率会明显上升。缺的不只是耐心而是稳定可复现的判断标准。这里说的缺陷水果分选简单来讲就是把表面有损伤、腐烂、畸形、疤痕、虫眼的果实从正常果实中挑出来。它的难点不在成像而在分类。苹果上一条浅划痕和一道自然纹理普通人都要仔细分辨机器怎么稳定识别缺陷也不完全是二分类问题腐烂程度还分初期霉斑、中期发软、晚期流汁处理方式完全不同。如果只靠固定阈值判断颜色或面积换一批品种马上失效。这正是机器学习模型介入的空间通过大量标注样本自动学习“什么样子的表面是缺陷”而不是人为写死规则。1.2 传统视觉方案为什么不够用颜色阈值分割是很多人第一个想到的办法。把RGB或HSV空间里某个通道的异常区域抠出来看占比或面积。这个方案在光线恒定、果实品种单一、缺陷形态简单的时候是够用的。可实际产线上光照角度变化、果实表面反光、不同成熟度带来的底色变化都会让阈值漂移。加上苹果的果梗、果萼区域天然就是深色经常被误判成腐烂斑。我实际对比过几类传统方案基于颜色的阈值分割、基于边缘检测的划痕识别、基于纹理统计的斑点判断。单独拿出来看都对某一种缺陷有效但对综合缺陷无能为力。而产线希望的是一个通用分类模型不要每增加一种缺陷就加一个处理模块。这也是最终转向机器学习算法的直接原因。机器学习模型可以通过样本自动建立特征与缺陷类别之间的映射泛化能力远强于死板的规则判断。1.3 方案选型与Matlab的价值在模拟项目X中我先后比较了三条技术路线手工特征加支持向量机、手工特征加随机森林、卷积神经网络直接端到端分类。选型时考虑的不只是精度还有开发周期、训练成本、现场部署难度和可维护性。技术路线精度表现开发周期缺陷样本需求部署与维护难度手工特征 SVM中等偏高短中等几百到几千低模型体积小手工特征 随机森林中等偏高短中等同左低可解释性好自建轻量CNN高长大几万以上中需要GPU推理预训练CNN微调高中较大几千到几万中高Matlab在这个项目里帮了大忙。图像处理工具箱处理背景分割、颜色变换、形态学滤波非常顺手分类学习器App能快速验证特征组合效果深度学习工具箱可以直接训练自定义网络层也可以加载预训练模型做迁移学习。更重要的是Matlab代码可读性强便于把算法逻辑讲给非算法背景的硬件工程师听现场有问题时也好排查。最终我选择的主干方案是先用传统图像处理做目标区域定位和裁剪再去跑一个轻量CNN分类器。这个选择后面会展开说明。纯手工特征方案在初期做基线模型时验证方便但后期对复杂缺陷的泛化能力不如CNN而CNN直接处理整张图又容易被背景干扰所以必须在前面加预处理步骤。2. 数据是分选模型的地基——缺陷水果数据集的采集、标注与增强2.1 数据集采集条件与数量规模先说数据从哪来。我们做了几轮采集在分选线现场安装工业彩色相机用白色漫反射光源固定工作距离和视场对苹果样本进行动态采集。同时也在模拟实验台拍摄静态样本覆盖不同品种、不同成熟度、不同缺陷程度。最终原始数据集大约有一万两千张标注图像包含正常果和六类缺陷果。如果只是做算法Demo图省事从公开数据集下载也可以但要复现产线效果还是要采集贴近现场条件的图像。采集时有几个容易被忽略的细节。第一背景必须统一。我们一开始用黑色绒布做背景后续测试换成白色输送带背景模型性能立刻下降原因就是背景颜色影响了分割结果。第二曝光不能过度饱和果面反光区域在高光下会失去纹理信息深度学习模型学到的可能是反光特征而不是缺陷特征。第三同一颗果要拍多个角度否则模型只会识别某一侧视角下的缺陷形态。这些坑让我意识到数据采集本质上是在定义模型的适用边界边界没定好后面都是白忙。2.2 标注规范与标签设计标注是整个流程中最枯燥也最重要的环节。我们对每一张图做了两级标签。一级标签是“好果”或“缺陷果”对应分选动作里的“放行”和“剔除”。二级标签是具体缺陷类型压伤、腐烂、果锈、划痕、畸形和虫眼。这样设计的好处是主模型可以先做粗分选细分类别既可以辅助诊断缺陷原因也可以指导后续的定向复检环节。标注一致性非常重要。两个人看同一张图可能一个标“轻微压伤”另一个标“正常果皮”。我们当时的办法是制定标注规范整理示范图例并由同一个人复核所有标注结果。模糊样本放入待定集由现场质检员拍板。这个过程消耗了大量时间但它直接影响模型性能的天花板。标签错得越多模型学到的决策边界就越混乱。2.3 图像预处理与数据增强策略预处理主要做三件事背景分割、尺寸归一化、像素归一化。背景分割的目的是让分类器只关注果实区域抑制输送带和背景板对分类的干扰。我们先用Otsu阈值或HSV空间饱和度通道分离果体与背景再做闭运算填充果面高光空洞最后裁剪出包含果体的最小包围盒。这个步骤在Matlab里用imbinarize加regionprops组合就能完成效率很高。尺寸归一化要兼顾细节和推理速度统一缩放到224x224对应后续CNN常见输入尺寸。像素归一化是减去均值再除以标准差或者缩放到0到1区间。训练前和推理前必须使用同一套预处理参数否则模型性能会明显变差。数据增强方面Matlab的imageDataAugmenter用起来很顺手。我设置的增强包括随机旋转、平移、缩放、水平翻转和HSV扰动。要注意的是分选场景里不应对图像做任意角度的旋转因为实际产线上果实朝向虽然随机但成像姿态有物理约束旋转范围设成-30到30度就够了。过度的人为增强可能导致模型学到现实中不会出现的图像分布。pixelRange 10; augmenter imageDataAugmenter( ... RandRotation, [-30 30], ... RandXTranslation, [-pixelRange pixelRange], ... RandYTranslation, [-pixelRange pixelRange], ... RandScale, [0.9 1.1], ... RandXReflection, true);2.4 数据集划分与层级结构划分数据时我用的是按果实样本分组的方式避免同一颗果的多张图同时出现在训练集和验证集否则会高估模型泛化能力。具体做法是先根据果实ID做分组统计再按组进行划分。分层抽样保证每个类别在训练、验证、测试中的比例一致。比例一般按7比1.5比1.5来分如果总体样本量不够可以先做轻度增强再划分不要在划分之后再用增强往验证集里塞数据。这里提醒一个常见误区很多人喜欢把数据增强同时用在所有数据集上验证集和测试集也被增广。这会严重污染评估结果因为增强后的验证样本和训练样本存在很强的相关性。正确做法是只增广训练集验证集和测试集保持原始图像。3. 特征工程与分类器选型——从手工特征到深度特征3.1 手工特征怎么设计才能抓住缺陷差异在没有深度学习经验时我最初用的是手工特征组合。颜色上重点使用HSV通道统计因为H通道对光照变化比RGB更稳定腐烂区域、绿色果锈区域在H通道有明显的分布差异。纹理上用了局部二值模式直方图和灰度共生矩阵的对比度、能量、熵。形状上提取目标区域的面积、周长、等效椭圆长轴、凸度等几何参数。这些特征不是随便堆的。每一类缺陷都有相对明显的表达腐烂区域在颜色上偏暗褐在纹理上表面粗糙LBP直方图于是与正常果差异明显压伤区域边缘模糊但颜色偏暗几何形状特征往往不显著反而需要局部纹理和邻域对比度来捕捉果锈是密集的斑点融合面积占比和高频纹理特征会比较突出。把这三组特征拼成一个中维特征向量喂给分类器便形成了一套可解释的检测逻辑。特征组合的价值在于即使单个特征区分能力有限多个特征的互补也能把类别边界拉得很开。3.2 为什么第一阶段选了SVM而不是其他分类器当时样本量不算大只有几千张图深度学习模型容易过拟合。SVM在中小样本下的分类性能很稳尤其配合RBF核可以把颜色、纹理特征映射到高维空间线性不可分的问题也能处理。Matlab里用fitcecoc可以快速训练多类SVM分类速度对秒级分选完全够用。超参数方面我当时用网格搜索调了核函数尺度gamma和惩罚系数boxConstraint。一个经验是缺陷检测更看重召回率在调参时可以把分类损失权重调整一下让“缺陷果”类别误分为“好果”的惩罚更大。用分类学习器App能直接看混淆矩阵调整权重很方便。手工特征加SVM的基线准确率能达到91%左右但对腐烂初期的低对比度样本漏检较多。这个结果让我确定了一件事特征与分类器组合的路子能走通但还有提升空间。3.3 深度特征学习和迁移学习的价值随着数据集扩充到一万多张CNN的潜力就显现出来了。CNN不再需要人手工决定提取哪种特征而是通过卷积核自动学习局部到全局的层次化特征。水果缺陷问题里的局部性非常强一个腐烂斑可能只占整张图的百分之五面积CNN通过浅层感受野能捕捉边缘和颜色异常深层则组合出“这块区域整体像是腐烂”的语义判断。直接从头训练一个CNN需要大量数据和更长的调参周期所以我采用了迁移学习。加载预训练网络后去掉全连接分类层替换成适合本任务的新全连接层和分类层。冻结前几层、只微调高层的做法在数据量偏少时更稳。这里要强调预训练模型是在通用图像数据集上训练的直接用其提取的特征做SVM效果往往也不错进一步做微调后精度提升会更明显。我实际测试下来迁移方案比从头训练的CNN收敛更快最终准确率也比手工特征方案高出约4个百分点。3.4 手工特征与深度特征的融合尝试我还试过把手工特征和CNN最后一层特征拼接起来再训练一个分类器这种方式在小样本场景下能叠加两类特征的优势。但实际收益有限而且会拖慢推理速度。分选设备通常是连续作业每颗果在相机视野里停留的时间只有几十毫秒特征拼接带来的复杂度得不偿失。如果现场算力充足、缺陷形态特别复杂可以保留这个方向作为备选否则我不建议为了微小的精度提升去牺牲实时性。这条取舍原则其实贯穿了整个项目所有优化都以“能不能稳定跑在产线节拍内”为最终判断标准。实验室里多刷一个点准确率很容易难的是让系统在现场长期稳定运行。4. Matlab实现落地细节——代码结构、训练流程与分选信号输出4.1 工程目录结构怎么组织跑通一次训练很简单难的是让项目可复现、可维护。我给模拟项目X设计了这样的目录结构fruit_sorting/ ├── data/ │ ├── raw/ # 原始图像 │ ├── processed/ # 背景分割、裁剪后的图像 │ └── split/ # train / val / test ├── code/ │ ├── preprocess.m # 图像预处理 │ ├── extract_features.m │ ├── train_svm.m │ ├── train_cnn.m │ ├── evaluate.m │ └── infer.m # 推理接口 ├── models/ # 训练好的模型文件 └── results/ # 指标、混淆矩阵、日志code目录里每个脚本只做一件事数据目录和代码目录分离。model文件用时间戳命名避免覆盖。这些做法看似简单但对项目拆解非常关键。后期换数据、换参数、回退版本都会省很多时间团队协作时也不会出现“你改过的版本在哪儿”这类问题。4.2 图像读入与预处理的主流程代码数据读入使用imageDatastore可以直接把文件夹名当成标签配合splitEachLabel按比例分层划分数据集。这个函数封装了很多细节比自己写文件遍历靠谱得多。imds imageDatastore(data/split/train, ... IncludeSubfolders, true, ... LabelSource, foldernames); imds shuffle(imds); [imdsTrain, imdsVal] splitEachLabel(imds, 0.85, randomized);预处理函数里先做背景分割再裁剪再缩放。注意要在AugmentedImageDatastore里设置归一化参数让训练和测试共用同一套均值和标准差。function imgOut preprocessCrop(imgIn) gray rgb2gray(imgIn); mask gray 60; % 简单阈值可换成Otsu mask imclose(mask, strel(disk, 10)); stats regionprops(mask, BoundingBox); imgOut imcrop(imgIn, stats.BoundingBox); imgOut imresize(imgOut, [224 224]); end这段代码里阈值60是我根据现场光照测出来的经验值。不同产线反光情况不同建议在实际项目里先用灰度直方图双峰特性确定阈值或者直接用otsuthreshold函数自动计算避免硬编码带来的迁移问题。4.3 训练SVM分选模型的代码路径特征提取加SVM的路径适合作为基线代码逻辑清晰调试方便。function features extractFeature(img) features []; % HSV颜色直方图 hsv rgb2hsv(img); for ch 1:3 h histogram(hsv(:,:,ch), 32, Normalization, probability); features [features, h.Values]; %#okAGROW end % LBP纹理直方图 lbpImg extractLBPFeatures(rgb2gray(img), Upright, true); features [features, lbpImg]; %#okAGROW end X_train cellfun(extractFeature, imdsTrain.UnderlyingDatastore.Files); label_train imdsTrain.Labels; svmModel fitcecoc(X_train, label_train, ... Learners, templateSVM(KernelFunction, rbf));实际特征提取要写成批量循环注意对每一张图先调用preprocessCrop再extractFeature。训练后保存模型评估时用测试集计算准确率、召回率和精确率。cellfun在这里适合做小批量演示数据量大了以后建议改成循环加文件缓存避免重复计算。4.4 训练轻量CNN的代码路径CNN路径里我设计了一个轻量网络避免直接使用成熟大网络导致推理过慢。结构是卷积-池化-卷积-池化-卷积-全局平均池化-全连接输出。代码里定义了层结构再用trainNetwork训练。layers [ imageInputLayer([224 224 3], Normalization, none) convolution2dLayer(3, 16, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 64, Padding, same) batchNormalizationLayer reluLayer globalAveragePooling2dLayer fullyConnectedLayer(4) softmaxLayer classificationLayer]; options trainingOptions(sgdm, ... InitialLearnRate, 0.001, ... MaxEpochs, 25, ... MiniBatchSize, 32, ... ValidationData, imdsVal, ... ValidationFrequency, 10, ... Plots, training-progress, ... Verbose, false);这段网络结构不是越深越好。分选场景要的是小特征图上的关键局部区域参数量过大会过拟合推理速度也会被拖下来。输入分辨率控制在224x224数据增强和批归一化一起配合稳定性和收敛速度都还不错。如果希望进一步提升精度可以把前几层换成预训练网络的浅层权重这就回到了迁移学习的思路。4.5 训练后的推理接口与分选信号输出模型训练好之后要封装一个推理函数输入是相机抓拍的原始图像输出是分类结果和剔除信号。function [labelStr, score] inferFruit(net, imgRaw) imgProc preprocessCrop(imgRaw); [labelStr, score] classify(net, imgProc); end实际产线里推理函数通过Matlab Coder生成C代码部署到工控机再通过串口或PLC信号控制气阀。这里我的经验是尽量把置信度低于阈值的样本当成“待定”处理宁可进入人工复检通道也不要直接放行这样可以显著改善漏检事故。推理时间方面224x224输入的轻量CNN在普通工控机上约需8到15毫秒加上预处理和通信延迟能够覆盖每分钟几百个果的分选节拍。如果现场目标速度更快就要考虑模型裁剪或硬件加速这会在第五部分展开。5. 训练调参踩坑记录与分选性能评估5.1 过拟合与数据增强的平衡第一版CNN训练到第10轮时训练准确率逼近99%验证准确率却卡在82%附近。这就是典型的过拟合信号。我当时犯了两个错误。一是数据增强强度太高随机旋转和亮度变化产生了不符合实际分布的样本干扰了模型对真实缺陷纹理的建模。二是没有及时早停模型开始记住训练集噪声。解决办法是收敛增强强度把旋转范围缩窄到±20度去掉不合理的颜色扰动同时加上早停策略和L2正则化。最终验证准确率稳定在95%以上。在调这类参数时看着训练进度曲线做判断很重要不要只看最终数字。曲线形态能告诉你什么时候该加大正则化什么时候该降低学习率这些信号比任何固定调参公式都可靠。5.2 类别不平衡带来的漏检风险果品分选里不平衡问题极其明显好果占比可能达到80%以上某一类缺陷却只有3%。如果不做任何处理模型会把所有样本倾向预测为好果因为这样整体准确率依然很高。我在第二版实验里就出现了这个现象缺陷召回率只有70%多数漏检集中在占比最低的腐果类。针对这个问题我用了两种手段。第一种是过采样对缺陷类样本做更强的增强复制低数量样本到训练集中。第二种是在classificationLayer里设置类别权重为少数类设定更高权重。双管齐下之后腐果召回率提升到96%整体准确率只下降了1.2个百分点。分选业务更看重缺陷果的召回率能用一点精确率换召回率是被现场认可的取舍。但要注意类别权重拉得过高也可能导致误检率上升现场表现为好果被大量剔除这个平衡要靠实际统计来定。5.3 评估指标别只做平均准确率的复读机很多项目汇报喜欢给出一个漂亮的准确率数字但在分选系统里平均准确率并不能完整反映系统表现。我同时输出混淆矩阵、每类precision、recall和F1。对于“好果”和“缺陷果”这个二分类视角更看重的是缺陷样本的recall和误检率。一个误检浪费的是好果一个漏检可能带来整批水果腐烂经济损失完全不是一个量级。指标含义分选场景关注点Accuracy总正确率参考指标不作为唯一判断Precision识别为缺陷中确实缺陷的比例关注误检率Recall真缺陷中被检出的比例最核心漏检代价高F1综合衡量两种错误平衡时参考Inference time单图耗时必须匹配产线节拍5.4 硬件部署时的模型裁剪在工控机上跑模型内存和计算资源都有限。训练完成后做模型裁剪是必须的环节。能做的优化包括把权重类型从单精度float32转成半精度float16、用深度学习代码生成工具把网络编译成C代码、去除训练相关的计算图节点。我实测发现裁剪后推理速度提升了约35%精度损失不到0.5%对6500张测试图像的结果基本可以忽略。部署时还要考虑模型版本更新。产线模型更新采用灰度切换策略先在一条备用通道上跑新模型对比一段时间再全面切换。这样既能享受新模型的收益又不会因个别边界情况导致批量误操作。现场出现故障时日志系统要记录每一张图像的预处理参数和模型输出概率否则很难定位问题是来自成像、预处理还是分类器。6. 落地经验与后续扩展方向写到这里整个缺陷水果分选算法的研究主线已经完整了。最后分享几个实际运行中形成的体会。第一数据质量是模型上限的关键标注规范和采集条件比选哪个分类器更值得花时间。产线上的数据永远不完美需要持续迭代收集。第二机器学习模型不要直接替代全部人工质检更好的方式是初级分选加人工复检让模型处理高频重复工作人工处理疑难样本这样既能提升效率也能为下一轮迭代积累高质量样本。第三Matlab适合做算法验证和快速原型真正大规模部署时往往要和C、PLC系统深度配合接口设计和异常处理要在一开始就想好。后续扩展方向上我认为有三个值得尝试的点。一个是增加多光谱或高光谱成像数据许多果实内部缺陷在可见光下不明显但在特定波段下很清晰。另一个是引入目标检测网络比如YOLO系列直接在原图上定位多个缺陷区域而不是先裁剪整果再分类。还有一个是少样本学习技术的应用在新增缺陷种类时只给少量新样本就能快速扩展分类能力这对产线来说是很有吸引力的。这些方向我在后续项目里已经在逐步验证等有明确结论再来写第二部分。按照目前这套“预处理加轻量CNN分类”的思路一套基于Matlab的缺陷水果分选算法原型大约两到三周就能从零跑通后续打磨主要花在数据清洗、现场适配和稳定性验证上。如果你也在做类似项目建议先把数据采集规范列清楚再谈模型这个顺序别搞反了。