论文题目Training-Free Industrial Defect Generation with Diffusion Models基于扩散模型的无训练产业缺陷生成会议ICCV 2025摘要在工业异常检测中异常产生已经成为解决缺陷样本稀缺性的关键。然而现有的基于训练的方法不能同时处理复杂的异常和多个缺陷特别是当每个缺陷类型只有一个异常样本时。为了解决这一问题我们提出了一种新的免训练缺陷生成框架TF-IDG它能够在一次扫描环境中生成不同的异常样本。我们提出了一种特征对齐策略通过最小化生成的缺陷和高复杂度的真实缺陷之间的分布差距来提供细粒度的外观指导。此外我们引入了自适应异常掩码机制来缓解缺陷在生成过程中忽略小区域的问题从而提高了合成缺陷与其对应掩码之间的一致性。最后我们加入了纹理保存模块从无异常的图像中提取背景信息确保合成缺陷的视觉属性无缝地整合到图像中。大量的实验证明了我们的方法在生成准确多样的异常方面的有效性从而在下游异常检测任务中获得了优越的性能。代码可以在https://github.com/rubymiaomiao/TF-IDG.上找到TF-IDG无需训练一张样本就能生成逼真工业缺陷一、背景与问题在工业质检领域机器学习模型的效果很大程度上取决于缺陷样本的数量与多样性。然而现实生产线上真实缺陷数据极度匮乏——采集困难、标注昂贵每种缺陷类型往往只有寥寥几张样本极端情况下甚至只有一张one-shot setting。现有的异常生成方法主要分为两类1. 手工编辑方法Manual Editing如 Cut-Paste、Crop-Paste 等直接将异常纹理粘贴到正常图像上。这类方法虽然简单但生成的缺陷缺乏结构连贯性和真实感难以有效提升模型精度。2. 生成模型方法Generative ModelsGAN 类方法如 DFMGAN需要大量缺陷数据进行训练在数据极少时表现不佳基于扩散模型的方法如 AnoDiff通过微调文本嵌入来学习异常外观但受限于参数规模和训练样本数量对复杂缺陷和多缺陷同时生成的处理能力较弱。这些训练类方法都面临一个共同痛点当每种缺陷类型只有一张参考图时模型难以捕捉多样化的缺陷特征生成能力受到严重制约。论文指出现有方法在处理以下四类典型缺陷时尤为吃力Elongated细长型如细线状划痕Tiny微小型如针孔、小凹坑Multiple多缺陷同一图像中存在多处异常Complex复杂型结构复杂的缺陷如晶体管上的异常【论文 Figure 1 Left四类缺陷的可视化对比展示了 TF-IDG 相比 AnoDiff 和 DFMGAN 在四类缺陷上的生成质量优势】二、论文提出的方法TF-IDG针对上述问题论文提出了TF-IDGTraining-Free Industrial Defect Generation一个无需训练、支持 one-shot的工业缺陷生成框架。TF-IDG 建立在零样本图像编辑框架Anydoor之上结合自监督视觉模型DINOv2进行特征提取以及ControlNet提供形状控制。但 Anydoor 在工业场景中存在几个关键缺陷在复杂场景下几何对齐困难无法有效处理多缺陷合成缺陷与背景融合不自然为解决这些问题TF-IDG 在推理阶段引入了三个关键模块通过梯度引导优化来提升生成质量无需对模型进行任何微调。【论文 Figure 2TF-IDG 整体架构图展示三个模块Feature Alignment、Adaptive Anomaly Mask、Texture Preservation的数据流与交互关系】2.1 特征对齐模块Feature Alignment, FA问题动机DINOv2 在工业场景下存在特征偏差导致生成的缺陷与真实缺陷之间存在分布差距。核心思路在扩散采样的前 n 步经验上设为总步数的 3/5从 UNet 中间层提取生成缺陷特征和参考缺陷特征通过能量函数约束二者的分布距离将生成特征拉向真实缺陷特征。技术细节初步尝试用余弦相似度CosSim衡量特征对齐效果但发现对区域内特征取均值后压缩了局部细节导致细长型缺陷的边缘仍然模糊。因此论文采用Sinkhorn Distance最优传输距离替代余弦相似度。该方法将特征对齐视为最优传输问题通过最小化两组特征向量集合之间的传输代价捕捉细粒度空间关系在保持形状多样性的同时维持结构一致性其中 P 是最优传输计划为熵正则化项为特征向量间的余弦距离。【论文 Figure 3不同梯度引导方式baseline、cosine、sinkhorn对缺陷外观的影响对比直观展示 Sinkhorn 距离的优越性】2.2 自适应异常掩码模块Adaptive Anomaly Mask, AAM问题动机在多缺陷生成或掩码形状不规则时面积较小的缺陷区域往往在生成过程中被忽略——随着扩散采样推进小缺陷区域的激活值迅速衰减导致生成结果与掩码不符。【论文 Figure 4不同时间步下和的编辑梯度可视化展示小缺陷区域的激活衰减现象及 AAM 的补救效果】核心思路动态计算一个自适应掩码专门标记那些尚未发生明显变化的区域并对这些区域施加额外的外观引导。具体步骤在每个时间步 t将当前生成图像与正常图像作像素级差分得到差异图对差异图按阈值 $\tau$ 二值化得到自适应掩码——差异小的区域说明该处缺陷尚未生成在所对应的区域上再次计算 Sinkhorn Distance施加局部外观引导损失最终总损失为同时兼顾全局和局部对齐。2.3 纹理保留模块Texture Preservation, TP问题动机缺陷的纹理和颜色与背景不一致会造成生硬粘贴的视觉效果而非无缝融合。工业缺陷本质上是对物体表面的损伤或位移需要与周围背景保持高度上下文一致性。技术细节该模块分两步实现Step 1Dual Source Attention双源注意力从 DDIM 反演记忆库中提取正常图像的 key和 value在自注意力计算中将其与生成图像的 key/value 拼接让模型同时关注生成内容和背景风格Step 2AdaIN 颜色校正由于注意力层分辨率较低单纯使用注意力机制难以实现精细的颜色修正。因此在隐空间直接使用自适应实例归一化AdaIN对颜色分布进行对齐这一步确保生成缺陷区域的颜色分布与正常背景匹配实现视觉上的无缝融合。三、实验设置数据集与评测协议论文在两个工业异常检测基准上进行评估MVTec AD15 类工业对象含 73 种缺陷类型VisA12 类对象背景更复杂缺陷更细小评测采用两种协议Few-shot setting每类缺陷用 1/3 图像作参考2/3 作测试One-shot setting每类缺陷仅用 1 张图像作参考用 † 标记评测指标生成质量Local IS局部 Inception Score在掩码裁剪的缺陷区域内计算专门衡量细粒度和小缺陷的生成质量IC-LPIPS量化生成异常簇之间的多样性下游检测性能图像级AUROC、AP、F1-max像素级AUROC、AP、F1-max、Pro实现细节骨干网络选用Stable Diffusion V2.1和Anydoor 训练的 ControlNet。关键参数ControlNet scale1DINOv2 guidance scale4.5总采样步数 T50梯度引导步数范围纹理保留模块激活时间步梯度引导强度。每类异常生成 1000 张图像用于后续实验。四、实验结果4.1 生成质量对比与 Crop-Paste、DFMGAN、AnoDiff、AnoGen、DIAG 五种方法对比TF-IDG 在生成质量上取得了显著领先【论文 Table 1在 MVTec AD 和 VisA 上用 Local IS 和 IC-LPIPS 对比各方法的生成质量】在 MVTec AD 上TF-IDG 的 Local IS 达到3.32显著优于排名第二的 AnoGen2.84在 VisA 上达到3.90同样大幅领先AnoGen 为 3.28。IC-LPIPS 方面与最优方法持平说明生成的缺陷既有质量保证也保持了足够的多样性。定性结果也印证了这一点【论文 Figure 5DFMGAN、AnoDiff、AnoGen、DIAG 与 TF-IDG 的定性对比展示在 MVTec AD 和 VisA 上的生成样例】训练类方法倾向于产生不真实的伪影或结构上不合理的缺陷而 TF-IDG 在生成细线状、多发性、结构复杂的缺陷如晶体管异常、PCB 缺陷方面表现出色。4.2 异常分类性能用各方法生成的 1000 张图像训练 ResNet-34 分类器在 MVTec AD 14 类上进行评估【论文 Table 2在 MVTec AD 上用 ResNet-34 评估异常分类准确率%】TF-IDG 的平均分类准确率达到79.84%比排名第二的 AnoDiff66.09%高出约13.75%。在 bottle95.53%、screw97.53%等类别上取得了接近满分的成绩而且即便是 one-shot 版本71.92%也超越了大多数 few-shot 训练方法。4.3 异常检测与定位性能用生成数据训练 U-Net 进行置信度推断评估检测与定位性能【论文 Table 3在 MVTec AD 和 VisA few-shot setting 下用 U-Net 训练后的检测与定位定量结果】在 MVTec AD 上TF-IDG 的图像级 AUROC 达到99.6%像素级 AUROC 达到99.1%Pro 得分为95.8%各项指标均为最优。在更具挑战性的 VisA 数据集上TF-IDG 在图像级 AUROC 上取得97.4%相比排名第二的方法AnoDiff91.4%提升了约6.0%Pro 得分为91.6%提升约3.1%。4.4 与下游检测模型的结合将 TF-IDG 生成数据分别集成到 one-to-one 检测模型 GLASS 和多类检测模型 UniAD【论文 Table 5TF-IDG 生成数据与 GLASS、UniAD 结合后在 MVTec AD 和 VisA 上的定量结果】Ours GLASS在 VisA 的 Pro 分数上比原版 GLASS 提升3.4%Ours UniAD在 VisA 的 i-AUC 上提升5.4%在 MVTec AD 的 i-AUC 上提升2.5%这说明 TF-IDG 生成的数据能有效辅助现有检测框架具有较强的实用价值。4.5 参考样本数量的影响【论文 Table 4在 MVTec AD 上不同参考样本数量k1,3,5下各方法的性能对比】随着参考样本数增加所有方法性能均有提升但 TF-IDG 在各数量设置下始终保持领先且其分类准确率的方差明显小于其他方法说明该方法对参考样本数量的鲁棒性更强。五、消融实验【论文 Table 6各模块的消融实验从生成质量L-IS、分类准确率Acc、像素级 AUROCp-AUC三个维度评估贡献】Sinkhorn分类准确率从 65.41% 跃升至 78.33%提升最为显著AAM 模块进一步提升定位精度p-AUC 从 98.2% 提升至 99.0%TP 模块增强图像真实感带来整体性能的全面提升六、总结与贡献TF-IDG 是首个在真正training-free one-shot设置下解决工业缺陷生成问题的方法其核心贡献可以归纳为三点无训练开销无需微调任何模型可即插即用地应用于各类缺陷类型极大降低了实际部署门槛。三模块协同设计Feature AlignmentSinkhorn 距离解决分布偏差保证复杂缺陷的结构准确性Adaptive Anomaly Mask 解决小缺陷被忽略的问题增强局部覆盖Texture Preservation 解决纹理/颜色不一致保证视觉真实感全面领先的实验结果在 MVTec AD 和 VisA 两个基准上在生成质量和下游检测任务上均大幅超越现有方法与最强 few-shot 方法相比也毫不逊色甚至在多项指标上取得新的 SOTA。对于工业界实际应用而言TF-IDG 提供了一套切实可行的数据增强方案仅凭极少量真实缺陷样本即可构建高质量的合成训练数据集显著提升下游检测模型的性能。