一种基于深度学习的LED芯片缺陷检测方法及系统与流程

本技术属于人工智能检测，具体涉及一种基于深度学习的led芯片缺陷检测方法及系统。

背景技术：

1、led芯片作为半导体照明的核心元件，其表面质量直接影响终端产品的光效与寿命。在大规模生产中，基于机器视觉的自动化光学检测已逐步替代人工目检，用于识别芯片表面的崩边、划痕、电极污染等缺陷。近年来，深度学习技术被引入该领域，通过构建卷积神经网络自动提取图像特征，在一定程度上提升了检测效率与一致性。

2、然而，现有基于监督学习的缺陷检测方法存在固有局限。首先，该类方法依赖大量已标注的缺陷样本进行模型训练，而led芯片生产过程中缺陷类型多样、形态随机，且良品占据绝大多数，导致缺陷样本采集与标注极为困难，模型训练成本高昂。其次，监督模型只能识别训练集中出现过的缺陷类型，对于生产工艺波动或新型异常所产生的未见缺陷，往往无法有效检出，泛化能力不足。

3、此外，led芯片表面普遍具有图形化蓝宝石衬底等周期性微观纹理，其在图像中形成规律性背景图案。传统检测方法在处理此类纹理时，容易将正常的纹理波动误判为缺陷，造成大量误报。同时，实际产线中的光照变化、镜头轻微失焦或光源衰减等因素，会进一步干扰检测稳定性，而现有方法缺乏自适应调整机制及系统自身状态的在线诊断能力，难以长期维持高精度检测。

4、因此，亟需一种能够摆脱对缺陷样本依赖、有效抑制衬底纹理干扰、并具备环境自适应与自诊断能力的led芯片缺陷检测方案。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的led芯片缺陷检测方法及系统，可以有效解决上述背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于深度学习的led芯片缺陷检测方法，包括以下具体步骤：

4、采用波长范围为450至470纳米的蓝光或520至535纳米的绿光的同轴光照明装置，及放大倍率为1至5倍的远心镜头，采集待测led芯片的待测图像；

5、将待测图像输入至一经训练的生成器模块以生成重构良品图像；生成器模块采用对称的编码路径与解码路径架构，编码路径由多个卷积步长大于1且不使用池化层的卷积单元堆叠而成，并包含一基于注意力机制的衬底纹理抑制算子，用于在压缩为隐空间向量过程中抑制图形化蓝宝石衬底的周期性纹理干扰；解码路径由对称的转置卷积单元构成，且编码与解码路径的对应层级间设有跳跃连接；生成器模块在训练阶段与一输出局部感受野概率矩阵的全卷积马尔可夫判别器进行对抗训练；

6、对待测图像与重构良品图像逐像素比对生成结构残差图，基于图中各局部子块的统计学均值与标准差计算局部自适应分割阈值，并对结构残差图进行二值化分割以提取异常区域；其中，局部自适应分割阈值计算所采用的倍数系数k根据当前生产批次良率与预设目标良率的偏差进行动态修正；

7、在连续检测过程中，实时计算预设数量连续芯片的平均重构损失，并对重构损失信号进行时频域分析；当频域分布特征匹配第一偏移模式时生成光源衰减预警信号，当匹配第二偏移模式时生成镜头失焦预警信号。

8、进一步地，衬底纹理抑制算子具体实现为：在编码路径的中间层级，通过一个全局平均池化分支获取特征图的通道描述符，经门控机制处理后生成注意力权重向量，并将该注意力权重向量与原始特征图在通道维度上进行逐通道加权，以增强或抑制特定通道的特征响应，从而实现对图形化蓝宝石衬底周期性纹理的背景抑制。

9、进一步地，生成器模块的编码路径由5层卷积单元顺序堆叠而成，各层卷积单元的卷积步长均设置为2，以在每次卷积操作后使特征图的空间分辨率减半；

10、编码路径中各层卷积单元的卷积核数量逐层递增，其数量配置依次为64、128、256、512、1024；衬底纹理抑制算子设置于编码路径中卷积核数量为256或512的卷积单元之后。

11、进一步地，解码路径由5层转置卷积单元构成，各层转置卷积单元的卷积步长均设置为2，以使特征图空间分辨率逐层恢复至原始待测图像尺寸；

12、其中，在第i层转置卷积操作完成后，将编码路径中第(6-i)层输出的、经衬底纹理抑制算子处理后的特征图与当前解码层的特征图在通道维度上进行级联拼接，以实现跳跃连接，其中i为1至5的整数。

13、进一步地，生成器模块与马尔可夫判别器的对抗训练过程采用一复合损失函数驱动，复合损失函数包括重构损失项、对抗损失项以及梯度惩罚项；

14、重构损失项为均方误差损失与结构相似性损失的加权和，其计算公式为：，其中，为均方误差损失，为结构相似性损失，为第一预设权重，为第二预设权重，且+=1；其中，第二预设权重的取值范围为0.3至0.4，以增强结构相似性损失在过滤图形化蓝宝石衬底周期性纹理引起的伪缺陷时的约束力；对抗损失项基于马尔可夫判别器输出的m×m概率矩阵计算，m取值为16或30；

15、梯度惩罚项作用于马尔可夫判别器，用于通过对真实良品图像与重构良品图像之间的随机插值样本的梯度范数进行约束。

16、进一步地，基于结构残差图中各局部子块的统计学均值与标准差，计算一局部自适应分割阈值的步骤，具体包括：

17、将结构残差图划分为32×32像素的多个子块，对每一个子块分别计算其局部均值与局部标准差,，并根据公式=+k计算该子块对应的局部自适应分割阈值；

18、其中，预定倍数系数k的基准取值范围为3至6，且动态修正依据以下规则进行：当当前生产批次良率低于预设目标良率超过5个百分点时，降低k的取值以扩大缺陷检出范围，降低漏检率；当当前生产批次良率高于预设目标良率且误报率超过预设阈值时，提高k的取值以收紧缺陷判定标准，降低误报率。

19、进一步地，缺陷定位步骤还包括：

20、对二值化处理后的图像执行由开运算和闭运算构成的形态学后处理；其中，开运算的结构元素为3×3像素的矩形核，闭运算的结构元素为5×5像素的矩形核；

21、对形态学后处理后的二值图像执行连通域分析，提取各独立连通域，并计算独立连通域的形态学特征参数，形态学特征参数包括面积、长轴长度、短轴长度、周长及紧凑度中的至少一种。

22、进一步地，通过优化神经网络计算图在图形处理器上的调度与内存复用策略，将重构步骤、残差生成与缺陷定位步骤的单张图像完整处理流程耗时控制在30毫秒至80毫秒范围内；

23、优化包括：将生成器模块中连续的卷积层、批标准化层及激活函数层融合为单一计算内核，并在前向传播过程中对特征图内存进行原地复用。

24、进一步地，自诊断监控步骤中，对重构损失信号进行时频域分析具体为：对由连续检测过程中的重构损失值构成的时间序列执行短时傅里叶变换或小波变换，以提取不同频率成分的能量分布作为频域分布特征；

25、预先标定的频域特征库包括：光源衰减模式对应的低频能量持续上升特征，以及镜头失焦模式对应的高频能量衰减且中频成分展宽特征。

26、一种基于深度学习的led芯片缺陷检测系统，包括：

27、图像采集模块，配置有像素规模在1200万至2500万之间的工业电荷耦合器件相机、放大倍率在1倍至5倍之间的远心镜头，以及发射波长范围为450纳米至470纳米蓝光或520纳米至535纳米绿光的同轴光照明装置，用于采集待测led芯片的待测图像；其中，远心镜头的放大倍率与工业电荷耦合器件相机的像素规模共同配置，以满足对芯片表面尺寸在微米级的崩边或划痕缺陷的解析需求；

28、良品图像重构模块，内置一经训练的生成器模块，用于接收待测图像并生成对应的重构良品图像；其中，生成器模块具有对称的编码与解码架构，其编码路径采用步长为2的卷积层替代池化层实现下采样，且包含一基于注意力机制的衬底纹理抑制算子；编码路径与解码路径的对应层级间设有跳跃连接；生成器模块在训练阶段与一输出概率矩阵的马尔可夫判别器进行对抗训练；

29、残差生成模块，用于对待测图像与重构良品图像进行逐像素比对，生成结构残差图；

30、自适应阈值分割模块，用于将结构残差图划分为预设尺寸的多个子块，并基于各子块的局部均值与局部标准差计算局部自适应分割阈值；分割阈值的倍数系数k根据当前生产批次良率进行动态修正；

31、形态学处理与特征提取模块，用于对二值化分割结果执行开运算与闭运算以优化连通性，并对提取出的连通域进行形态学特征参数的量化分析；

32、结果输出与数据库模块，用于在原始待测图像上可视化标记缺陷区域，并将缺陷信息写入生产质量数据库；

33、自诊断监控模块，用于在连续检测过程中实时计算预设数量的连续led芯片的平均重构损失，并通过时频域分析识别平均重构损失信号的频域偏移模式，以区分生成光源衰减预警信号或镜头失焦预警信号。

34、综上所述，本技术包括以下至少一种有益技术效果：

35、1、本发明通过构建基于无监督学习的生成对抗网络架构，仅需采集生产线中易于获取的良品led芯片图像即可完成模型训练，彻底解决传统监督学习检测方法依赖大规模缺陷样本标注的难题，极大降低数据准备的人工成本与时间周期。

36、2、本发明采用重构失败的检测原理，生成器模型仅学习并掌握良品芯片的特征分布，对于新型工艺产生的、从未在训练集中出现的未知缺陷形态，模型均会表现出极高的重构误差，从而通过残差分析实现对所有非良品异常的可靠截获，有效避免传统方法对新类型缺陷易产生的漏检问题。

37、3、本发明实现多尺度空间信息的精准保留，确保重构良品图像的纹理细腻度；同时，复合损失函数中结构相似性损失的引入，使得检测算法对环境光照波动表现出极强的鲁棒性，配合自适应动态阈值分割技术，将误报率控制在极低水平，确保芯片质量判定的绝对准确性。

38、4、本发明能够实现极短时间内的缺陷自动定位与形态学参数提取，配合生产质量数据库的自动对接，为芯片制造企业的工艺优化提供及时且精准的数据反馈，显著提升半导体照明产品的整体良率与可靠性。