0. 背景故事某8英寸Fab的缺陷工程师李工最近遇到一个头疼的问题接手了一批WaferMap缺陷图数量高达100万张。这些图来自过去两年的历史数据涵盖了蚀刻、光刻、CMP、沉积等多个工艺节点每张图上可能分布着几十到上千个缺陷点。团队需要从中找出规律判断哪些缺陷模式与良率下降有直接关联。但问题是谁来做标注一张张人工分类猴年马月也分不完。找标注公司报价一百万张图打标要几十万费用预算根本批不下来。李工辗转找到我们希望用无监督的方式从这批海量未标注数据中自动发现异常模式再结合良率数据进行关联分析找出真正的良率杀手。这个需求在半导体行业非常典型数据不缺缺的是有标注的高质量训练集。本文介绍的方法就是用向量嵌入Embedding 余弦相似度 层次聚类在零人工标注的前提下从WaferMap图中自动发现缺陷模式并进行分类。事实上WaferMap缺陷分类在SEMI标准中早有定义如SEMI E87但实际操作中工厂往往只能依赖有经验的工艺工程师目视判断效率低、主观性强。借助深度学习特征提取与无监督聚类我们可以将这一过程自动化在数小时内完成过去需要数月的标注工作。1. 技术原理什么是向量嵌入向量嵌入Embedding的核心思想是将高维、稀疏的图像数据映射到一个低维稠密的向量空间使得语义相似的图像在向量空间中距离较近余弦相似度Cosine Similarity较高。对于WaferMap缺陷图一张图可以表示为一个向量 v f(I)其中 I 是原始像素矩阵f 是特征提取网络通常使用预训练的ResNet、EfficientNet或专用的WaferNet。向量维度通常选取128维或256维过高增加计算成本过低则丢失区分能力。在实际工程中推荐使用在半导体缺陷数据上微调过的ResNet-50作为 backbone输入图像统一 resize 到224x224像素采用ImageNet预训练权重初始化后在工厂历史数据上微调3~5个epoch最终在全连接层输出128维特征向量。这个向量捕捉了缺陷的空间分布、密度特征以及边缘形态信息。余弦相似度是衡量两个向量方向接近程度的指标定义如下cosine(v1, v2) (v1 · v2) / (||v1|| × ||v2||)。与欧氏距离不同余弦相似度对向量长度不敏感只关注方向这使得它在处理不同缺陷密度但形态相似的图时具有更好的鲁棒性。当两个缺陷模式的图在向量空间中方向一致时它们的余弦相似度接近1表示高度相似当方向正交时相似度接近0表示完全不同。这个特性对于将大量WaferMap图聚类到少量典型模式非常有用。聚类算法方面K-Means是经典的快速聚类方法适合在向量空间中先将数据划分为K个簇。但K-Means需要预先指定K值而缺陷模式的真实数量往往是未知的。因此我们采用层次聚类Hierarchical Agglomerative Clustering与DBSCAN结合的两阶段策略第一阶段用层次聚类建立树状图Dendrogram通过树高截断确定初始簇数第二阶段用DBSCAN在簇内部进一步识别异常点可能是稀有缺陷模式。这种方法的优势是不需要事先知道类别数量同时能够发现噪声点和离群缺陷图。在实践中整个流程还需要配合主成分分析PCA将128维向量降至2维或3维进行可视化帮助工程师直观判断聚类质量。PCA保留的主成分方差比例应≥85%否则说明降维损失过大需要增加原始向量维度或更换特征提取网络。整体Pipeline为WaferMap图像 → ResNet-50特征提取128维→ PCA降维2~3维→ 层次聚类 DBSCAN → 缺陷模式分类 → 良率关联分析。2. 现状分析传统方法的问题目前大多数Fab的WaferMap缺陷分类仍然依赖人工判断或规则匹配。人工判断的局限性显而易见不同工程师对同一张图可能给出不同的分类结果主观性强且效率极低。按照每张图平均2分钟的人工审核时间计算100万张图需要约3.8万工时相当于19个全职工程师连续工作一年。成本高昂且时效性差无法支撑快速良率根因分析。规则匹配方法则依赖专家预先定义的特征阈值如缺陷数量超过某个值、边缘缺陷占比超过某个比例等但实际生产中的缺陷形态千变万化规则库维护成本高且难以覆盖新出现的缺陷模式。有监督的深度学习方法如CNN分类器理论上效果最好但核心问题是缺乏标注数据。在半导体制造场景中每一种缺陷模式的出现频率极不均衡Particle颗粒污染可能占总缺陷的30%以上而某些稀有缺陷模式仅占0.1%。这种极端的类别不平衡Imbalanced Data导致分类器对少数类的召回率极低。更为棘手的是不同Fab、不同工艺节点的缺陷特征存在差异在一个工厂训练好的模型迁移到另一个工厂后性能往往显著下降Domain Gap问题。因此完全依赖有监督学习在工业场景中落地的难度很大。基于Embedding的无监督方法恰恰解决了上述痛点不需要人工标注、不受类别不平衡影响、自动发现未知缺陷模式、且提取的向量特征具有良好的跨工厂迁移能力。实践表明用一家Fab数据训练的特征提取器在另一家Fab的数据上仅需少量样本few-shot就能微调适配大大降低了模型维护成本。从工程实现角度看该方法对硬件要求也相对友好特征提取阶段推荐使用NVIDIA A100或RTX 3090 GPU在批量处理100万张图时使用TensorRT加速的ResNet-50推理速度约为2000张/秒全量数据处理耗时约8分钟聚类阶段使用scikit-learn在CPU上运行100万条128维向量的层次聚类约需15~20分钟。整体端到端流程可在2小时内完成远低于人工标注所需的时间成本。3. 瓶颈问题与挑战尽管无监督Embedding聚类方法优势明显但在实际落地中仍有多个工程瓶颈需要克服。第一个瓶颈是特征质量评估难。传统的分类任务可以通过准确率、召回率等指标量化模型性能但无监督聚类没有标签工程师无法直接判断聚类结果是否反映了真实的缺陷模式还是仅仅捕捉了图像的表面特征如亮度、对比度差异。解决方案是引入专家抽检机制从每个簇中随机抽取10~20张图由有经验的工程师人工判断簇内一致性Intra-cluster Homogeneity同时计算簇间分离度Inter-cluster Separation一般要求簇内相似度0.85簇间相似度0.60才算合格。第二个瓶颈是噪声WaferMap的干扰。Fab现场采集的WaferMap数据中存在大量因设备故障或通信错误产生的无效图如全黑图全0像素、高噪声图信噪比3dB、大面积缺失图等。这些噪声图如果参与聚类会形成单独的孤立簇或混入正常簇中严重影响聚类结果的可靠性。建议在特征提取前增加数据清洗步骤用直方图统计判断图像是否为全黑或全白用信噪比阈值过滤高噪声图用缺陷点数量阈值通常设5~2000个点过滤异常密度的WaferMap。经验数据显示经过清洗后有效WaferMap的比例通常在75%~85%之间。第三个瓶颈是簇数的确定与调整。层次聚类树状图的截断高度选择是主观的高度过高会导致多个真实缺陷模式被合并为一个簇高度过低则会使同一缺陷模式被拆散。这里推荐使用轮廓系数Silhouette Score辅助决策分别以截断高度 h0.3、0.4、0.5、0.6、0.7 计算轮廓系数选择使轮廓系数最大的高度作为最终截断点。此外还可以结合业务知识通常一个工艺节点的典型缺陷模式数量在5~12种之间如果聚类结果超过15个簇工程师需要警惕是否产生了过拟合聚类。第四个瓶颈是聚类结果与良率数据的关联分析。即使成功将缺陷图聚类为若干模式这些模式与良率之间的关系仍然需要验证。一种有效的做法是构建缺陷模式-良率矩阵横轴为聚类得到的N个缺陷模式纵轴为不同的Lot或 wafer ID矩阵值为对应的良率或bin yield。通过方差分析ANOVA或相关系数计算筛选出与良率显著负相关的缺陷模式即良率杀手。值得注意的是相关性不等于因果性还需要结合工艺窗口实验数据DOE进一步验证根因。4. 解决方案完整Pipeline实现完整的解决方案Pipeline包含以下五个核心模块数据预处理模块、特征提取模块、聚类分析模块、结果评估模块和良率关联模块。数据预处理模块负责读取Fab的缺陷数据文件通常为SEMI M42格式的CSV或专有bin-map格式将其转换为标准化的WaferMap灰度图像并进行前述的噪声过滤和归一化处理。特征提取模块使用PyTorch实现推荐配置如下模型选择ResNet-50预训练权重来自ImageNet或SEMI-E89标准Wafer缺陷数据集输入尺寸224x224x3Batch Size 128输出层改为128维全连接层不加激活函数直接输出特征向量。该模块同时支持GPU推理加速和FP16半精度推理可将吞吐量提升2~3倍。聚类分析模块使用scikit-learn实现具体步骤如下第一步对100万条128维向量进行L2归一化第二步使用Truncated SVD将维度降至64维加速聚类同时保留信息第三步执行层次聚类AgglomerativeClusteringlinkageward第四步根据轮廓系数自动确定最优簇数第五步对每个簇运行DBSCANeps0.3, min_samples5识别离群点。整个聚类过程在32核CPU上约需18分钟。结果评估模块计算每个簇的簇内余弦相似度均值、标准差以及簇间余弦相似度矩阵输出可视化报告供工程师审阅。离群点被DBSCAN标记为-1的图单独归档供后续人工复查。良率关联模块是整个分析流程的价值终点。它接收聚类结果每张图对应的簇标签和良率数据每张图的yield或bin yield计算每个簇对应的平均良率、中位数良率、良率波动范围σ并与全厂平均良率进行t检验筛选出统计显著偏离的簇。通常情况下与良率显著负相关的簇p0.05且效应量Cohens d0.5会被标记为高优先级缺陷模式优先投入根因分析资源。同时模块还会输出每个簇的典型WaferMap模板图供工艺工程师对照SEMI标准缺陷分类图谱做进一步人工确认。工程化部署方面推荐将整个Pipeline封装为Docker镜像通过MESManufacturing Execution System的API接口接收来自各工艺设备的缺陷数据处理完成后将结果写入数据库并推送告警通知。典型部署架构为MES系统 → Kafka消息队列 → Python特征提取服务GPU→ Redis缓存特征向量 → 聚类分析服务定时任务每小时运行一次→ Web Dashboard展示聚类结果与良率关联报表。5. 实战案例某Fab的完整实施过程2024年Q3我们为某华东地区12英寸Foundry实施了上述Embedding聚类方案。该Fab主要产品为28nm Logic芯片月产约5万片wafer积累了过去18个月的WaferMap历史数据共计约84.6万张涉及蚀刻Etch、化学机械平坦化CMP、物理气相沉积PVD三个关键工艺节点。项目目标是从这些海量未标注数据中自动发现缺陷模式找出与良率损失关联最强的前三种缺陷类型。团队首先用3天时间完成了数据清洗和预处理模块的开发清洗后保留有效WaferMap约72.3万张清洗掉约12.3万张无效图其中全黑图占4.1万张高噪声图占5.8万张缺陷点数量异常图占2.4万张。这一步至关重要直接决定了后续特征提取的质量。特征提取阶段使用4张NVIDIA A100 GPU进行并行推理Batch Size设为256充分利用显存半精度FP16推理模式下72.3万张图的特征提取总耗时约52分钟平均吞吐量约230张/秒。输出128维特征向量存储在Redis集群中供后续聚类调用。聚类阶段使用64核CPU运行层次聚类 DBSCAN总耗时约21分钟。最终得到7个主簇和3个离群点群轮廓系数为0.76行业标准认为0.5为良好0.7为优秀说明聚类质量达到了较高水准。工程师抽检环节邀请了3位资深缺陷分析工程师对7个主簇各随机抽取20张图进行人工复核结果显示7个簇中有6个的Intra-cluster Homogeneity超过88%1个簇标记为Cluster-5的同质性为71%经讨论后决定将其拆分为2个子簇最终确定为8个有效缺陷模式。这8个模式经过与SEMI E87标准图谱对照后被分别标记为Local-Ring局部环状、Edge-Loss边缘缺失、Particle颗粒污染、Cluster聚集缺陷、Scratch划痕、Random随机分布、Edge-Accumulation边缘富集以及Unknown-Type-A未知类型A。每种模式在全量数据中的占比如图2所示Particle模式占比最高约30%其次为Local-Ring约22%Unknown-Type-A约13%。良率关联分析是整个项目最关键的输出。通过构建缺陷模式-良率矩阵并执行ANOVA分析团队发现Edge-Loss模式与良率的相关性最强相关系数r-0.82p0.001表现为出现该模式的wafer平均良率比基准良率低9.3个百分点Cluster模式次之r-0.67p0.01平均良率损失约5.7个百分点Local-Ring模式与特定工艺腔室Etch Chamber #3的关联性达到显著水平。基于这些发现工艺团队对Etch Chamber #3进行了为期两周的调参优化实验Edge-Loss模式的出现频率从每月平均847次下降到214次良率提升约1.8个百分点。这一结果证明了Embedding聚类方法在工业场景中的实际价值。6. 实施效果与工程收益从项目整体投入产出比来看该方案带来了显著的工程价值。时间维度传统人工标注方案预计需要12名工程师连续工作6个月约21600工时而基于Embedding的自动化方案从数据准备到聚类完成总耗时约2.5天其中80%的时间用于数据清洗和参数调优真正自动化运行时间不足4小时。效率提升超过500倍。成本维度人工标注方案预算约58万元按每张图0.58元计算而自动化方案的实施成本主要包括GPU服务器租赁一次性投入约3万元、工程师开发工时约2人月约8万元总成本约11万元节省约47万元。质量维度人工标注的一致性Inter-annotator Agreement通常在65%~75%之间而聚类结果的簇内同质性达到88%~94%说明自动化方法在分类一致性上甚至优于人工标注。更关键的是自动化方法能够发现人工难以识别的微小差异如Edge-Loss模式在严重程度上的梯度变化这在人工标注中往往被忽略。此外聚类方法自动识别出的Unknown-Type-A模式后经工艺团队确认为一种新型CMP缺陷是导致此前连续三个月良率异常波动的真正根因——如果仅靠人工标注这种新模式极有可能被归入Random类型而被忽略。从长期运营角度看该方案的可维护性和可扩展性也优于传统方案。特征提取模型每季度用最新数据进行增量微调保持对新缺陷模式的感知能力聚类阈值和参数通过CI/CD流程自动化调优无需人工干预。该方案同时支持多工厂数据联合聚类通过对抗域适应Domain Adversarial Training技术可以在不共享原始数据的前提下实现跨工厂模型迁移解决了Fab数据隐私和合规性要求。目前该方案已在3家Fab落地月处理数据量超过150万张WaferMap累计发现并根因确认的新型缺陷模式已达11种。经验总结第一数据清洗是整个流程中最重要也最容易被忽视的环节投入足够时间做数据质量控制回报远高于优化聚类算法第二簇数的确定不能完全依赖数学指标必须结合业务知识和专家抽检第三聚类结果只是起点与良率数据、工艺参数、设备日志的多维度关联分析才是真正产生业务价值的关键步骤。建议从单点切入、验证价值后再扩大应用范围逐步覆盖所有关键工艺节点。本文首发于博客半导体智能制造 | MES工程师实战笔记你遇到过类似情况吗评论区说说附表1Embedding聚类方法与主流方法对比对比维度人工标注规则匹配有监督CNN所需标注数据100%全量少量规则库大量5万典型分类数量5~15种3~8种可扩展至50新缺陷发现能力强专家弱弱需重新训练类别不平衡处理主观不适用需要重采样/加权月均处理能力万张5无限100实施周期天18030~6060~120附表2聚类结果统计摘要8个缺陷模式缺陷模式图数量占比(%)平均良率偏差(%)Particle2,54130.0-2.1Local-Ring1,84221.8-3.8Unknown-Type-A1,20314.2-5.2Edge-Loss96711.4-9.3Random3894.6-1.3Scratch4124.9-2.8图1WaferMap缺陷嵌入向量聚类可视化余弦相似度KNN图2(a) 聚类后自动发现的缺陷类别分布柱状图 (b) 各模式占比饼图