一、背景故事一个只有37张图的缺陷类别事情起于一次量产异常。某12英寸厂的铜互连层出现一种环状缺陷在晶圆边缘区域形成一圈灰度略深的环带工艺组内部叫它晕环。这类缺陷不算常见但一旦出现往往批量性发生直接影响电测良率约1.5到3个百分点。问题是自动缺陷分类系统识别不出它每次都归到「其他」类别要等人工复判时才被发现通常已经过了两三天损失已经造成。我们想训练一个能识别它的分类模型结果一查数据库傻眼了过去两年的缺陷图库里被明确标注为晕环的样本只有37张。而同期颗粒类缺陷有4万多张划伤有1万多张。这就是Fab里做AI最典型的困境真正值钱的、需要被识别的缺陷恰恰因为发生频率低而缺少样本而数据量大的类别人工判读本来也不难。传统的解决办法是几何增强翻转、旋转、缩放、加噪。我们试过把37张扩到2000张模型在训练集上表现很好一到真实产线就崩了召回率只有0.40出头。原因很直白几何变换没有引入任何新信息模型学到的是那37张图的具体纹理而不是晕环这一类缺陷的本质特征。于是我们把目光转向生成式模型。2023年之后扩散模型在图像生成上的效果已经足够好关键问题是它生成出来的缺陷图能不能真的帮到分类模型会不会因为生成图与真实分布有偏差反而把模型带偏这篇文章记录的就是我们花了四个月把这条路走通的完整过程包含所有关键参数、验收方法和踩过的坑。二、技术原理扩散模型为什么适合缺陷图生成扩散模型的基本思想是学习一个逐步去噪的过程。训练时对真实图像逐步添加高斯噪声经过T步后图像退化为纯噪声模型的任务是学会预测每一步添加的噪声从而在推理时能从纯噪声出发一步步还原出符合训练数据分布的新图像。与生成对抗网络相比扩散模型的训练目标是一个简单的回归损失不存在判别器与生成器的博弈因此训练过程稳定得多这一点在小样本场景下尤其重要。缺陷图有几个特点让扩散模型格外合适。第一缺陷图的背景晶圆表面的规则图案高度结构化且重复性强模型很容易学到这部分先验第二缺陷本身在图像中占比小、形态相对固定属于在稳定背景上叠加局部扰动的问题这正是扩散模型的强项第三我们需要的是有限多样性而非无限创意生成图必须像真实缺陷而不能天马行空扩散模型通过控制引导强度可以精确调节这个自由度。本项目采用类别条件扩散即在模型输入中加入缺陷类别嵌入使其能够按指定类别生成。训练时采用无分类器引导的做法以10%的概率随机丢弃类别条件让模型同时学会有条件和无条件生成推理时通过引导系数在两者之间插值。引导系数的选择很关键值太小生成图类别特征不明显值太大则会过度强化类别典型特征生成出真实产线上根本不会出现的「教科书式」缺陷反而降低模型泛化能力。还有一个工程上必须理解的概念是分布覆盖。生成模型学到的是训练数据的分布它不能凭空创造训练集中完全没有出现过的形态。这意味着如果那37张原始样本本身就有偏比如全部来自同一台机台、同一个批次生成出来的一万张图也会继承这个偏差。这是我们后面设置验收标准和配比上限的根本原因。三、现状分析Fab里三类主流增强手段的实际效果在决定用扩散模型之前我们系统评估了业界常用的三类方案这里把对比结果分享出来。第一类是几何与光度增强包括旋转、镜像、随机裁切、亮度对比度扰动、加噪。优点是零成本、无风险、实现简单几乎所有团队都在用。缺点是信息增量为零在样本量低于100张时提升有限。我们的实测数据是晕环类召回率从0.35提升到0.42然后就到顶了。第二类是基于物理仿真的合成即用图形学方法在真实背景图上人工绘制缺陷。这条路我们在2024年做过做了一个参数化的划伤生成器可以控制划痕长度、宽度、走向和灰度衰减。效果比几何增强好一些但工作量巨大每一类缺陷都要单独开发生成器而且合成图的边缘过渡过于生硬模型很容易学到「合成图的破绽」而不是缺陷本身在真实数据上迁移效果一般。第三类就是生成式模型。早期我们试过生成对抗网络在样本量只有几十张的情况下训练极不稳定出现严重的模式崩塌生成的一千张图里有八百张几乎一模一样。换成扩散模型后这个问题基本消失这也是我们最终选定技术路线的直接原因。图1六类缺陷在增强前后的召回率对比。样本量最少的晕环类提升幅度最大从40%提升到78%。四、瓶颈问题生成数据用不好会把模型带沟里第一个瓶颈是分布漂移。生成模型不可避免地会对训练分布做某种程度的平滑生成图往往集中在分布的高密度区域而真实产线的困难样本恰恰位于分布边缘。如果不加控制地把大量生成图塞进训练集模型会在「典型缺陷」上表现优异但对边缘形态的识别能力反而下降。我们第一版模型就吃了这个亏验证集F1从0.59提升到0.81产线实测召回率却只有0.63差距来源正是边缘样本。第二个瓶颈是标注一致性。生成图的类别标签来自生成时的条件输入但模型并不保证百分之百按条件生成。我们抽检发现引导系数为2.5时约有百分之四到六的生成图形态更接近另一个类别。这些错标样本对小样本类别的伤害极大因为它们在该类总量中占比不低。第三个瓶颈是评估指标失真。业界常用FID衡量生成质量但FID是在ImageNet预训练特征空间计算的而晶圆SEM图与自然图像的统计特性差异巨大FID在这里的判别力明显下降。我们遇到过FID只有22看起来很好但工艺工程师一眼看出全是假图的情况。光靠自动指标不够必须引入人工验收。第四个瓶颈是算力与周期的现实约束。训练一个可用的类别条件扩散模型单卡RTX4090需要约36小时如果每次工艺变更都要重训这个周期在快速迭代的产线上是不可接受的。因此必须设计增量更新策略而不是每次从头训练。五、解决方案一条可持续运行的数据增强流水线5.1数据准备与预处理第一步是把原始SEM图统一裁切到256×256裁切时以缺陷质心为中心并保留一定的背景余量我们取缺陷外接框的1.8倍保证模型能学到缺陷与背景的相对关系。灰度归一化采用每张图独立的分位数拉伸取2%和98%分位这比全局归一化更稳健因为不同机台的成像亮度存在系统性差异。所有预处理参数必须固化并版本化后续推理阶段要完全一致。第二步是做样本分层。把那37张原始晕环图按来源机台、发生批次、缺陷尺寸三个维度分层确保后续的训练集和验证集划分不会把同一批次的图分到两边否则验证结果会严重虚高。这一步是很多团队容易忽略的地方我们第一次划分时随机切分验证F1高达0.91实际部署惨败就是因为数据泄漏。5.2模型训练与超参配置我们采用在大规模缺陷图上预训练、在目标类别上微调的两阶段策略。预训练阶段使用全部约6万张各类缺陷图不区分类别让模型先学会晶圆表面纹理的通用先验微调阶段引入类别条件只用各类别的真实样本进行训练。这个策略把稀有类别所需的训练时长从36小时压缩到约6小时是工程可行性的关键。完整超参见下表这些数值都是我们实测调出来的可以直接复现。表1扩散模型训练与采样关键超参本项目实测可复现配置参数项取值选取依据调整经验输入分辨率256×256SEM原图裁切兼顾缺陷细节与显存占用512分辨率细节更好但训练时长翻3倍扩散步数T1000训练/ 50DDIM采样标准DDPM设定DDIM采样50步与1000步视觉差异极小噪声调度cosine schedule低噪声段信息保留更好linear在小样本下易生成模糊纹理批大小与学习率batch16lr1e-4AdamW单卡24G显存上限lr超过2e-4后期出现模式崩塌EMA衰减0.9999稳定采样质量不开EMA时生成图批间差异明显引导强度CFG2.5类别条件生成大于4会过度锐化产生真实产线不存在的伪纹理训练时长单卡RTX4090约36小时8万步收敛后FID趋于平稳2万步已可用8万步细节更真实5.3三级验收与配比控制生成之后不能直接用必须过验收。我们设计了统计、物理、人工三级验收标准任何一级不通过的批次整批退回重新生成。其中最有效的是第三级的人工盲测把50张生成图和50张真实图混在一起请有五年以上经验的缺陷判读员分辨真伪如果他们的辨别准确率低于65%接近随机猜测的50%加上合理波动说明生成质量达标。表2生成样本三级验收标准未通过不得进入训练集验收层级检查内容判定标准执行方式L1统计层FID与类内特征分布距离FID小于35特征均值偏移小于1.5σ脚本自动计算每批生成后执行L2物理层缺陷形态是否符合工艺机理尺寸、位置、灰度分布落在真实范围内算法工程师配合工艺工程师抽检L3人工层资深缺陷判读员盲测真伪辨别准确率低于65%视为通过每批抽50张与50张真实图混合盲测禁入规则一生成图出现多缺陷叠加直接剔除真实产线该形态发生率低于0.3%禁入规则二缺陷跨越晶圆边缘无效区直接剔除违反量测机台的有效区域定义配比上限生成样本占该类总量比例不超过65%超过后验证集性能开始回落配比控制同样重要。我们做过一组消融实验固定真实样本数量逐步提高生成样本比例观察验证集性能。结果显示生成样本占比在50%到65%区间时效果最好超过70%后性能开始回落超过85%时甚至低于不做增强的基线。因此我们把65%设为硬性上限写进流程文件。六、实战案例晕环缺陷分类模型的完整落地项目从2025年11月启动。第一个月完成数据梳理把散落在三个系统里的缺陷图统一到一个带完整元数据的数据集这一步花的时间比预想多主要耗在标注复核上原本标为晕环的37张图经过工艺工程师复核有5张实际是量测机台的照明不均伪影予以剔除真实可用样本只剩32张。这个发现本身就说明了标注质量对小样本任务的致命影响。第二个月完成扩散模型训练。预训练用了两天微调过程中遇到一次典型问题训练到第3000步时生成图开始出现规则的网格状伪影排查后发现是上采样层使用转置卷积造成的棋盘效应改成最近邻插值加卷积后消失。这个坑在生成模型工程实践中很常见值得提前注意。第三个月生成并验收数据。我们分五个批次共生成4000张候选图经过三级验收后保留1847张通过率约46%。被剔除的主要原因依次是缺陷形态偏离物理机理38%、出现多缺陷叠加27%、人工盲测被轻易识别21%、统计指标超限14%。通过率低于一半是正常的不要为了凑数量降低标准。第四个月训练分类模型并上线。分类模型采用ResNet-50骨干加类别平衡采样训练集为32张真实图加上60张按65%配比上限计算生成图同时保留全部其他类别的真实样本以维持整体判别能力。上线采用影子模式运行两周即模型给出预测但不影响实际流程由人工复判结果作为对照两周后确认性能达标才正式切换。图2三种策略的收敛曲线。仅真实数据在第25轮后出现过拟合平台扩散增强将F1上限推高约0.24。七、实施效果数据、经济性与后续演进模型上线三个月后的实测数据晕环类缺陷召回率从基线的0.41提升到0.78误报率从0.19下降到0.11。六个稀有类别的宏平均F1从0.59提升到0.83。更重要的是发现时效这类缺陷从发生到被识别的平均时长从原来依赖人工复判的52小时缩短到自动识别后的4.5小时这意味着工艺工程师可以在损失扩大之前介入。经济性方面项目一次性投入约为算法工程师2人月加一张消费级显卡按内部成本核算不到8万元。收益侧在上线后的三个月里因及时发现晕环缺陷而避免的批次损失有两次按每次约180片晶圆、单片成本折算避免损失显著超过项目投入。此外人工复判工时每月减少约60小时这部分是持续性收益。需要坦白的局限有三点。第一方法依赖于原始样本至少覆盖该缺陷的主要形态如果连一张典型样本都没有生成模型无能为力第二工艺发生重大变更比如换了新的金属层结构后历史缺陷形态可能不再适用需要重新采集并微调第三生成数据不能替代真实数据的持续积累我们的策略是把生成增强作为过渡手段同时坚持真实样本的日常收集当某类别真实样本超过300张后逐步降低生成样本占比直至归零。后续演进方向我们看到三条路。一是引入可控生成让工艺工程师能够指定缺陷的尺寸、位置和严重度来生成特定场景样本用于压力测试分类模型的边界二是把生成模型与晶圆图级别的空间分布模型结合不仅生成单个缺陷图还能生成完整的晶圆缺陷分布图用于根因分析训练三是探索用更轻量的潜空间扩散降低算力需求让每个工艺组都能在自己的工作站上完成微调而不必排队等中心算力。附录A落地实施的四阶段排期与人力投入很多团队看完方法论后最关心的问题是「要投多少人、多长时间」。以我们推进缺陷图像生成式数据增强的实际记录为例整个过程分为四个阶段。第一阶段是现状盘点与基线固化耗时2周投入良率工程师与算法工程师1人天70%、数据工程师0.5人力产出物是基线数据集与口径说明书关键动作是把稀有缺陷类别的召回率与误报率的历史数据拉齐到同一口径并明确采样频率、剔除规则和缺失值处理方式。这一步看似枯燥但如果基线不准后面所有的改善量化都会被质疑。第二阶段是方案设计与小范围验证耗时3周投入良率工程师与算法工程师1人全职缺陷检查ADC团队与工艺工程配合评审。验证范围限定在1到2台设备或1条产品线目的是用最小代价确认扩散模型条件生成加人工验收在本厂数据上确实有效。验证阶段必须设定明确的通过标准例如误报率、命中率、响应时长这类可量化指标避免最后陷入「感觉还不错」的模糊结论。第三阶段是全面推广与系统集成耗时4到6周需要IT或MES团队投入约15人天完成接口开发、权限配置和上线部署。推广阶段的最大风险不是技术而是使用习惯如果一线工程师觉得新流程增加了工作量就会绕过它。我们的做法是把增强数据集与分类模型直接嵌入现有的日常工作界面让使用者不需要额外打开新系统。第四阶段是效果确认与固化耗时4周主要工作是持续跟踪指标、修订SOP、组织培训并把成果写入部门知识库。这一阶段容易被忽略但决定了改善能否长期保持。我们要求每个项目在关闭前必须完成三件事SOP更新并发布、责任人指定到具体岗位、监控看板上线并设置告警阈值三者缺一不可。附录B五个高频踩坑点与规避方法第一个坑是口径不统一。同样一个稀有缺陷类别的召回率与误报率工艺、品质、生产三个部门可能有三套算法开会时各说各的数据两个小时都对不齐。规避方法是建立数据字典为每个指标写明计算公式、数据来源表、统计周期和剔除规则由品质部门统一发布任何修改必须走版本管理。第二个坑是样本量不足就下结论。缺陷图像生成式数据增强在初期往往只有几十条数据此时任何统计量的置信区间都很宽看到差异就宣布改善有效很可能是随机波动。我们的内部规定是涉及批准量产变更的结论至少需要30个独立批次的数据支撑并且要通过假设检验一般用t检验或非参数的Mann-Whitney检验p值小于0.05才认可。第三个坑是只做了技术方案没有配套的响应机制。系统能识别问题但没人规定谁在多长时间内必须处理结果告警堆积成噪音。必须把增强数据集与分类模型和OCAP异常处理程序绑定明确一级响应5分钟、二级响应30分钟、三级响应4小时的分层要求并纳入班组绩效考核。第四个坑是忽视变更管理。任何参数、模型或规则的调整都要留痕包含调整前的值、调整后的值、调整理由、审批人和生效时间。我们吃过亏一位同事临时放宽了阈值忘了改回来三周后才被发现期间漏掉了两次真实异常。从那以后所有阈值都做成配置表并加了每周自动比对报告。第五个坑是缺少退出机制。方案上线后如果发现效果不如预期要有明确的回滚方案和判定标准不能因为已经投入了资源就硬撑。我们要求每个方案在设计阶段就写清楚回滚条件、回滚步骤和回滚责任人这既是风险控制也让团队敢于尝试新方法。八、配套资料与实战工具包本文的训练脚本、超参配置文件、三级验收自动化脚本与配比消融实验数据已整理成完整工具包包含数据预处理、模型训练、批量生成与验收统计的全流程代码可在单张消费级显卡上复现。点击上方「VIP资源」下载区免费获取以下配套资料持续更新MES/SPC/良率/AI实战资料类别条件扩散模型训练脚本与完整超参配置PyTorch版缺陷图预处理与分层划分脚本含数据泄漏检查三级验收自动化脚本FID计算、特征分布比对、盲测抽样生成样本配比消融实验数据与结论报告缺陷分类模型训练与影子模式部署清单────────────────────────────────────────本文首发于博客半导体智能制造| MES工程师实战笔记你在自己的产线上遇到过类似情况吗是怎么处理的欢迎在评论区留下你的做法和数据一起把这套方法打磨得更实用。标签半导体AI融合|半导体Fab | MES系统| SPC过程控制|良率提升|智能制造