论文题目ReF-DDPM: A novel DDPM-based data augmentation method for imbalanced rolling bearing fault diagnosis一种新的基于DDPM的不平衡滚动轴承故障诊断数据增强方法期刊Reliability Engineering and System Safety摘要有效的轴承故障诊断是保证机械系统安全可靠运行的关键。由于复杂恶劣的工作环境机械数据往往来自不平衡的数据集这是诊断应用中亟待解决的问题。然而目前提出的主要基于生成性对抗网络的数据增强方法在平衡生成样本的质量和多样性方面仍然具有挑战性。针对这一问题本文提出了一种新的数据增强方法--再参数残差去噪扩散概率模型(REF-DDPM)并将其应用于故障诊断。该结构包括前向扩散过程和反向去噪过程其中高斯噪声和原始样本通过马尔可夫链进行变换。为了提高生成样本的质量对噪声预测网络进行了改进通过增强层内和层间特征来更好地表示特征。此外还将信号标签作为条件信息添加到模型中以指导采样过程中相关类别样本的生成。该研究为承载不平衡数据提供了一种新的数据增强方法生成的数据可进一步用于故障诊断任务。验证实验证明了该方法的有效性和良好的泛化能力提高了不平衡故障诊断的准确性。用扩散模型解决轴承故障诊断中的数据不平衡问题ReF-DDPM详解一、背景为什么轴承故障诊断需要数据增强滚动轴承是旋转机械中最易发生故障的核心零部件。及时、准确地诊断轴承故障对于保障机械系统安全稳定运行至关重要。近年来基于深度学习的故障诊断方法凭借其自适应特征提取能力展现出强大的性能潜力。然而深度学习模型的训练有一个前提需要大量且均衡的标注样本。现实情况却恰恰相反——工业现场的轴承绝大多数时间处于健康运行状态各类故障状态的发生概率本就很低加之数据存储不当等原因使得故障样本极度稀缺。这就造成了严重的数据不平衡Class Imbalance问题健康样本数量远远多于故障样本。数据不平衡会直接导致诊断模型偏科——模型倾向于将所有样本都预测为多数类健康状态对少数类故障状态的识别能力极差而这恰恰是我们最需要准确识别的类别。二、现有方法的局限目前解决数据不平衡问题的主流思路是生成对抗网络GAN通过生成虚假的少数类样本来补充数据集。已有多项工作探索了一维卷积GAN、DCGAN、WGAN-GP等变体。但GAN系列方法存在三个根本性缺陷① 模式崩溃Mode Collapse生成器陷入只生成少数几种样本的局面生成数据多样性严重不足无法覆盖真实故障信号的全部变化模式。② 训练不稳定判别器与生成器的对抗训练过程极其敏感容易陷入不稳定状态需要大量人工调参才能收敛工程应用门槛高。③ 生成质量有限生成样本从真实样本中学到的特征有限低质量的扩充数据反而会污染训练集影响最终的故障识别精度。此外SMOTE等传统过采样技术易受噪声干扰且存在过拟合风险变分自编码器VAE因重建损失的设置会削弱生成质量元学习方法则需要大量与目标分布相似的训练数据在故障数据极度稀缺的场景下难以奏效。三、核心思路用扩散模型替代GAN近年来去噪扩散概率模型Denoising Diffusion Probabilistic Model, DDPM在图像合成、语音合成领域取得了突破性进展生成质量甚至超越了GAN。与GAN相比DDPM的优势在于利用马尔可夫链逐步加噪/去噪训练过程更稳定直接学习数据分布从根本上避免模式崩溃生成样本多样性更丰富然而将DDPM直接用于振动信号生成仍面临挑战标准DDPM的噪声预测网络存在局部特征信息丢失和全局特征信息冗余两个问题限制了生成振动信号的质量。本文提出的ReF-DDPMReparameterized Residual Denoising Diffusion Probabilistic Model正是针对这两个问题对DDPM的噪声预测网络进行了系统性改进。四、方法详解ReF-DDPM的完整框架4.1 整体流程【配图Fig. 2 — ReF-DDPM数据增强策略全流程图】整个框架分为五个步骤Step 1对不平衡数据集中的训练样本在时间步逐步添加高斯噪声生成带噪样本Step 2将、时间步和样本类别标签一起输入ReF-DDPM模型进行训练学习预测噪声Step 3训练完成后从标准正态分布中采样结合时间步和目标类别标签驱动模型生成指定类别的新样本Step 4将生成样本与原始训练样本混合构建平衡数据集Step 5用平衡数据集训练分类器完成故障诊断其中类别标签作为条件信息参与训练和采样使模型能够有针对性地生成指定故障类型的样本而不是随机生成这对故障样本扩充至关重要。4.2 噪声预测网络架构【配图Fig. 3 — 噪声预测网络改进U-Net整体架构】噪声预测网络采用U-Net架构由三类核心模块构成DoubleConv模块两个3×3卷积层、Downsample模块下采样提取浅层特征、Upsample模块上采样提取深层特征。深层特征与浅层特征通过跳跃连接融合最终由1×1卷积输出预测噪声。本文对标准U-Net做了两处关键改进分别对应两类特征增强。4.3 创新点一RepRFN增强层内特征解决局部特征丢失【配图Fig. 4 — Downsample和Upsample模块结构】【配图Fig. 5 — RepRFB、RepBlock、Attention Layer的详细结构】受图像超分辨率领域的重参数化残差特征网络RepRFN启发本文将其引入DDPM的下/上采样模块解决局部特征信息丢失问题。核心设计是重参数化残差特征块RepRFB其内部的RepBlock采用多并行分支结构训练阶段同时使用3×3、3×1、1×3、1×1以及1×1→3×3级联共五种尺度的卷积核并行提取特征覆盖不同感受野捕捉振动信号中从局部冲击到全局趋势的多尺度特征推理阶段通过重参数化操作将所有并行分支的权重等效合并为一个3×3卷积核推理时计算量不增加实现训练重参数、推理轻量化提取深层特征后RepRFB通过局部残差连接融合浅层与深层特征并使用注意力机制增强整体特征表达。这一设计的意义在于振动信号包含轴承各部件的特征频率BPFO、BPFI、BSF等不同尺度的卷积核能同时捕捉这些不同频率范围的局部纹理特征从而保留关键的故障特征细节。4.4 创新点二MRLA增强层间特征解决全局信息冗余【配图Fig. 1 — MRLA多头循环层注意力原理图】标准DDPM的U-Net跳跃连接仅使用简单的通道拼接Concatenation完全忽略了高层特征与低层特征之间的语义关系导致全局特征信息冗余。本文在跳跃连接处引入多头循环层注意力Multi-head Recurrent Layer Attention, MRLA机制。其核心思想是将高层特征向量通过平均池化和卷积变换为QQuery、KKey、VValue三组特征矩阵然后通过点积注意力计算Q和K的相关性得到注意力分布再与V相乘得到注意力特征矩阵最后将低层特征向量与注意力特征矩阵相加实现跨层特征的自适应融合。具体地层注意力的计算为通过递推展开令MRLA能够聚合来自所有历史层的信息实现真正的跨层循环信息检索既强化了高层语义对低层细节的指导又过滤掉了冗余的全局特征使生成样本的频率特征更加准确。4.5 网络结构参数【配表Table 2 — ReF-DDPM网络结构参数输入/输出数据尺寸】完整网络共包含1个输入层、1个DoubleConv、3个Downsample通道数从32→64→128→128空间尺寸从512→256→128→64、3个DoubleConv通道数扩展至256、3个Upsample逐步恢复至512和1个输出层最终将512点输入信号还原为预测的噪声信号。五、实验验证5.1 Case 1CWRU公开数据集数据设置【配表Table 1 — CWRU数据集详情】使用凯斯西储大学CWRU轴承故障数据集选取SKF6205轴承在1797 rpm、0 hp负载下的数据包含3种故障位置球BA、内圈IR、外圈OR× 3种故障尺寸7/14/21 mils 9类故障1类正常状态Normal共10类样本长度512点每类故障训练样本20个正常训练样本160个不平衡比设置从1:80到1:1共7个梯度最极端情况下每类故障仅有2个训练样本。【配图Fig. 6 — 三种故障条件下原始轴承故障数据的时域和频域波形】模型训练参数Adam优化器初始学习率1e-4批大小36扩散步数1000训练轮数300。生成质量评估【配图Fig. 7 — OR故障21 milsTFDW对比原始/WGAN-GP/DDPM/ReF-DDPM】 【配图Fig. 8 — IR故障21 milsTFDW对比】【配图Fig. 9 — BA故障21 milsTFDW对比】从时频波形TFDW的直观对比可以看出WGAN-GP引入了额外噪声且容易忽略细小的低频成分DDPM某些特定频率无法被生成时域波形幅值也不够明显ReF-DDPM生成信号的时域波形特征和频域峰值位置均与原始信号高度一致且不同故障条件下的生成数据具有良好多样性量化评估结果评价指标DCGANWGAN-GPDDPMReF-DDPM原始数据MMD↓0.68450.40560.34150.30700.3034JSD↓0.03090.02400.02280.02120.0209COSINE↑0.90380.92720.91520.93150.9328ReF-DDPM在三项指标上均优于其他方法且与原始数据自身评估值0.3034/0.0209/0.9328极为接近说明生成样本分布与真实样本高度吻合。【配图Fig. 10 — 四种方法的t-SNE特征可视化对比】t-SNE可视化进一步揭示了各方法的本质差异DCGANGenerated 8粉色与Real 8完全分离反而与Generated 4橙色混叠典型的模式崩溃表现WGAN-GP不同程度的类间重叠和类内分离DDPM避免了类内分离但仍有轻微特征混叠ReF-DDPM生成数据与真实数据在特征空间几乎完全重合不同类别之间具有良好的可分性不平衡故障诊断结果【配图Fig. 11 — 四种方法在不同不平衡比下的诊断准确率对比】【配表Table 4 — 不平衡实验数据集设置不平衡比1:80至1:1】值得注意的是在极度不平衡1:40和1:20时GAN类方法反而高于DDPM类方法——这是因为GAN的模式崩溃在样本极少时反而变成了优势单调的生成样本提高了对该单一模式的分类概率。然而随着数据量增加GAN的多样性缺陷暴露无遗。当不平衡比达到1:10时ReF-DDPM准确率56.7%已开始领先DCGAN 54.3%、WGAN-GP 55%、DDPM 44.6%。到达平衡状态1:1时差距急剧拉开方法准确率DCGAN81.3%WGAN-GP87.5%DDPM95.6%ReF-DDPM99.5%【配图Fig. 12 — 平衡数据下四种方法的混淆矩阵】消融实验【配图Fig. 13 — 四个控制模型的训练准确率/损失曲线及分类结果】【配图Fig. 14 — 四个控制模型的t-SNE特征可视化】为验证各模块的贡献设计四个控制模型Model A原始DDPM无RepRFN无MRLAModel B仅加MRLA无RepRFNModel C仅加RepRFN无MRLAModel D完整ReF-DDPMRepRFN MRLA结果显示Model A精度最低、损失最高Model C优于Model B说明RepRFN对诊断精度的提升比MRLA更显著Model D完整方案精度最高且t-SNE特征图中呈现出最强的类内聚合和类间分离5.2 Case 2MFPT数据集更复杂场景【配表Table 5 — MFPT数据集详情】使用机械故障防治技术学会MFPT提供的数据在1500 r/min转速下选取7个数据集内圈IR故障50/100/250 lbs三种负载外圈OR故障50/100/250 lbs三种负载正常N270 lbs样本长度2048点每类故障初始训练样本10个MFPT数据的频率成分比CWRU更为复杂是对方法泛化能力的更严苛考验。【配图Fig. 15 — MFPT数据集原始时域和频域波形可见更复杂的频率成分】【配图Fig. 16 — IR故障50 lbsTFDW对比】【配图Fig. 17 — OR故障50 lbsTFDW对比】尽管数据复杂度增加ReF-DDPM生成信号的波形特征仍与原始信号高度一致WGAN-GP则在高频域产生了不相关的频率成分DDPM的时域幅值依然不够明显。【配图Fig. 18 — MFPT数据集四种方法在不同不平衡比下的诊断准确率】【配表Table 6 — MFPT不平衡实验数据集设置】平衡状态1:1下的诊断结果方法准确率DCGAN53.1%WGAN-GP53.6%DDPM75.3%ReF-DDPM78.4%在更复杂的数据场景下ReF-DDPM仍保持最优性能GAN类方法与DDPM类方法的差距也进一步拉大体现了扩散模型的本质优势。5.3 Case 3MFS真实实验平台数据集【配图Fig. 19 — MFS实验平台实物图】【配表Table 7 — MFS数据集详情】为进一步验证实际应用价值使用机械故障模拟器MFS实验平台采集的真实数据在1800 rpm转速下采样频率24 kHz包含正常N球故障BA内圈故障IR外圈故障OR复合故障C——这是前两个案例中没有的故障类型增加了诊断难度样本长度2048点每类故障初始训练样本10个。【配图Fig. 20 — MFS数据集原始时域和频域波形】【配图Fig. 21 — IR故障TFDW对比WGAN-GP、DDPM、ReF-DDPM】【配图Fig. 22 — MFS数据集平衡状态下四种方法的混淆矩阵】【配图Fig. 23 — MFS数据集四种方法的t-SNE特征分布】MFS实验结果与前两个案例一致混淆矩阵和t-SNE特征分布均显示ReF-DDPM在类间分离性和类内聚合性上最优进一步验证了方法在复杂真实场景中的有效性和泛化能力。六、三大数据集结果横向对比综合三个案例ReF-DDPM展现出一致的规律生成质量方面无论是简单的CWRU数据还是频率成分更复杂的MFPT和MFS数据ReF-DDPM生成的振动信号在时频波形上均能忠实还原原始信号的主要特征且定量指标MMD/JSD/COSINE始终优于DCGAN、WGAN-GP和DDPM。诊断精度方面在极度不平衡时各方法差距有限随数据量增加到平衡状态ReF-DDPM的优势越来越明显最终在CWRU达到99.5%、MFPT达到78.4%的最优准确率。关键规律GAN类方法在样本极度稀少时因模式崩溃反而获得短暂优势但本质上这是一种虚假的精度随着样本增加其多样性不足的缺陷就会暴露出来。七、局限性与未来工作作者明确指出了现有方案的主要局限采样速度慢扩散模型的推理过程需要完整运行T步去噪本文扩散步数设置为1000相比GAN一步生成采样时间显著更长这在需要实时生成大量样本的场景下是一个实际瓶颈。未来工作方向进一步优化时间步策略减少采样步数如采用DDIM等快速采样方法在保持生成质量的前提下大幅提升采样速度使ReF-DDPM更适用于工程部署场景。八、总结本文针对滚动轴承故障诊断中的数据不平衡问题提出了基于改进DDPM的数据增强方法ReF-DDPM。核心思路是在DDPM稳定、多样的生成框架基础上通过RepRFN增强局部特征提取层内特征通过MRLA优化跨层特征交互层间特征并引入类别标签实现条件生成从而提升振动信号的生成质量最终改善不平衡场景下的故障分类精度。三个数据集的验证结果表明ReF-DDPM在生成质量和诊断精度两个维度上均全面超越DCGAN、WGAN-GP和标准DDPM尤其在平衡状态下的CWRU数据集上达到99.5%的高准确率充分验证了方法的有效性和良好泛化能力。