一种检测芯片粘连区域缺陷的方法及装置与流程

1.本发明图像处理技术领域，尤其涉及一种基于深度学习的检测芯片粘连区域缺陷的方法及装置。


背景技术：

2.在元器件封装的生产过程中，芯片必须通过粘接材料固定在焊板上，才能保证其工作可靠性。如果芯片粘连材料不足，导致芯片粘附强度降低，在工作中会容易发生脱落，造成器件致命性的失效。并且粘连材料不足会导致芯片下的粘接材料可能存在局部空洞，这些空洞会导致芯片散热不均匀，诱发器件发生二次击穿烧毁。因此，准确检测出芯片粘连区域的缺陷对于元器件质量安全具有重大意义。
3.现有的检测芯片粘连区域缺陷的方法流程如下：人工将待检测的元器件放置在x射线检测设备的检测工作台上，然后操作设备对准待检器件，再对器件进行拍照，拍照后将图片传输到计算机上。最后人工浏览x射线所成像的一张张图片，对粘连区域的缺陷进行检测。这种人工肉眼检测的方式，不仅会耗费检测人员大量的时间，还存在因视觉疲劳或经验判断不足造成的人为判断失误的问题，元器件质量难以有效保证，给元器件在现场的安全运行带来风险与隐患。


技术实现要素：

4.本发明实施例提供了一种检测芯片粘连区域缺陷的方法，以解决现有技术中存在的芯片粘连区域缺陷检测结果不准确的问题，能够提升检测稳定性和检测精度。
5.为了解决上述技术问题，本发明公开了一种检测芯片粘连区域缺陷的方法，其中，所述方法包括：对采集到的x射线图像进行预处理，得到第一图像；利用训练好的目标检测模型，定位出所述第一图像中粘连区域的位置；基于无监督图像修复模型对所述第一图像中的粘连区域缺陷进行修复，得到第二图像；采用自适应阈值的分割算法对第一图像、第二图像进行缺陷检测，确定目标缺陷对应的像素。
6.可选的，在所述对采集到的x射线图像进行预处理，得到第一图像的步骤之前，所述方法还包括：对预设数量的图像样本进行预处理，得到第三图像；针对每个所述第三图像，基于模板匹配所述第三图像中的粘连区域位置，将匹配坐标转换为标签文件，并保存所述标签文件；基于标注后的各图像样本，训练目标检测模型。
7.可选的，在所述基于标注后的各图像样本，训练目标检测模型的步骤之前，所述方法还包括：对标注的图像样本进行样本扩增处理，其中，样本扩增处理包括：旋转、翻转、缩放、亮度调整以及对比度调整中的至少之一。
8.可选的，所述对采集到的x射线图像进行预处理，得到第一图像的步骤，包括：采用高斯滤波滤除采集到的x射线图像中的高斯噪声，得到第四图像；采用中值滤波，滤除所述第四图像中的椒盐噪声，得到第一图像。
9.可选的，所述采用自适应阈值的分割算法对第一图像、第二图像进行缺陷检测，确
定目标缺陷对应的像素的步骤，包括：将第一图像和第二图像进行像素级差分处理，确定缺陷得分图；根据适应性阈值对图像进行分割，确定目标缺陷对应的像素。
10.为了解决上述技术问题，本发明还公开了一种检测芯片粘连区域缺陷的装置，所述装置包括：第一预处理模块，用于对采集到的x射线图像进行预处理，得到第一图像；定位模块，用于利用训练好的目标检测模型，定位出所述第一图像中粘连区域的位置；修复模块，用于基于无监督图像修复模型对所述第一图像中的粘连区域缺陷进行修复，得到第二图像；确定模块，用于采用自适应阈值的分割算法对第一图像、第二图像进行缺陷检测，确定目标缺陷对应的像素。
11.可选的，所述装置还包括：第二预处理模块，用于在所述第一预处理模块对采集到的x射线图像进行预处理，得到第一图像之前，对预设数量的图像样本进行预处理，得到第三图像；标注模块，用于针对每个所述第三图像，基于模板匹配所述第三图像中的粘连区域位置，将匹配坐标转换为标签文件，并保存所述标签文件；训练模块，用于基于标注后的各图像样本，训练目标检测模型。
12.可选的，所述装置还包括：扩增模块，用于在所述训练模块基于标注后的各图像样本，训练目标检测模型之前，对标注的图像样本进行样本扩增处理，其中，样本扩增处理包括：旋转、翻转、缩放、亮度调整以及对比度调整中的至少之一。
13.可选的，所述第一预处理模块包括：第一子模块，用于采用高斯滤波滤除采集到的x射线图像中的高斯噪声，得到第四图像；第二子模块，用于采用中值滤波，滤除所述第四图像中的椒盐噪声，得到第一图像。
14.可选的，所述确定模块包括：第三子模块，用于将第一图像和第二图像进行像素级差分处理，确定缺陷得分图；第四子模块，用于根据适应性阈值对图像进行分割，确定目标缺陷对应的像素。
15.本发明实施例提供的检测芯片粘连区域缺陷的方案，对采集到的x射线图像进行预处理，得到第一图像；利用训练好的目标检测模型，定位出第一图像中粘连区域的位置；基于无监督图像修复模型对第一图像中的粘连区域缺陷进行修复，得到第二图像；采用自适应阈值的分割算法对第一图像、第二图像进行缺陷检测，确定目标缺陷对应的像素，所检测到的结果准确、可靠。
附图说明
16.图1为本发明实施例所提供的检测芯片粘连区域缺陷的方法的步骤流程图；
17.图2为本发明实施例所提供的基于模板匹配的自动标准流程示意图；
18.图3为本发明实施例所提供的模板匹配效果示意图；
19.图4为本发明实施例所提供的目标检测模型的训练曲线示意图；
20.图5为本发明实施例所提供的芯片粘连区域缺陷检测效果示意图；
21.图6为本发明实施例所提供的网络结构图；
22.图7为本发明实施例所提供的修复图像效果图；
23.图8为本发明实施例所提供的检测效果图；
24.图9为本发明实施例所提供的检测芯片粘连区域缺陷的装置的结构框图。
具体实施方式
25.下面根据具体的实施例，结合附图针对本发明进行详细说明。应当理解，此处所述的具体实施例仅用于解释本发明，并不用于限定本发明。
26.本技术实施例的检测芯片粘连区域缺陷的方法基于深度学习网络结构实现，主要包括：获取采集到的原始图像和模板图像，并对其进行预处理采用预设的匹配算法进行匹配，得到粘连区域的位置，并保存标签文件；构建目标检测模型，使用标注好的样本对其进行训练，利用训练好的目标检测模型定位出粘连区域的位置；构建图像修复模型，使用粘连区域的图像进行训练，利用训练好的模型能够对图像中的缺陷进行修复，得到对应的无缺陷图像；采用自适应阈值的分割算法对修复前后的图像进行缺陷检测，得到最终缺陷的像素级定位。
27.如图1所示，本发明实施例的检测芯片粘连区域缺陷的方法的步骤流程图，该方法包括如下步骤：
28.步骤101：对采集到的x射线图像进行预处理，得到第一图像。
29.由于x射线图像存在较多白点噪声，因此需要对x射线图像进行预处理消除图像噪声。
30.一种可选的对采集到的x射线图像进行预处理，得到第一图像的方式可以为：采用高斯滤波滤除采集到的x射线图像中的高斯噪声，得到第四图像；采用中值滤波，滤除第四图像中的椒盐噪声，得到第一图像，所得到的第一图像则为消除噪声后的图像。
31.步骤102：利用训练好的目标检测模型，定位出第一图像中粘连区域的位置。
32.由于实际环境中成像条件复杂多变，传统的检测算法难以适应所有的图像，鲁棒性不足，利用卷积神经网络强大的特征提取能力，构建基于深度学习的目标检测模型，能够准确提取粘连区特征，实现对粘连区的检测。
33.目标检测模型在步骤101之前即训练完成，一种可选的训练目标检测模型的方式可以如下：
34.首先，对预设数量的图像样本进行预处理，得到第三图像。
35.预设数量可以由本领域技术人员根据实际需求进行设置，本技术实施例中对此不做具体限制。对样本图像进行预处理的方式参照对步骤101中x射线的图像进行预处理的相关说明即可，在此不再赘述。
36.其次，针对每个第三图像，基于模板匹配第三图像中的粘连区域位置，将匹配坐标转换为标签文件，并保存标签文件，以完成对图像样本的标注。
37.由于芯片在整张图像中的位置不是固定的，利用模板匹配粗略定位出粘连区域位置，并将匹配坐标转换为标签文件，对于匹配错误的结构，由人工进行修正，进而完成数据集的构建，该技术能够大大提高标注效率，减轻人工标注的工作量。
38.最后，基于标注后的各图像样本，训练目标检测模型。
39.一种可选的得到图像样本的方式可以为，对标注的图像样本进行样本扩增处理，其中，样本扩增处理包括：旋转、翻转、缩放、亮度调整以及对比度调整中的至少之一。该种对标注的图像样本进行样本扩增处理的方式，可降低图像样本处理所消耗的资源。
40.步骤103：基于无监督图像修复模型对第一图像中的粘连区域缺陷进行修复，得到第二图像。
41.将筛选出的正常无缺陷粘连区图像放入图像修复模型进行训练，训练好的图像能够对图像中的缺陷进行很好的修复，得到对应的无缺陷的图像
42.步骤104：采用自适应阈值的分割算法对第一图像、第二图像进行缺陷检测，确定目标缺陷对应的像素。
43.将修复前后的图像进行像素级的差分，计算缺陷得分图，根据自动选择的阈值对图像进行分割，得到最终缺陷的像素级区域定位。
44.本技术实施例提供的检测芯片粘连区域缺陷的方法，对采集到的x射线图像进行预处理，得到第一图像；利用训练好的目标检测模型，定位出第一图像中粘连区域的位置；基于无监督图像修复模型对第一图像中的粘连区域缺陷进行修复，得到第二图像；采用自适应阈值的分割算法对第一图像、第二图像进行缺陷检测，确定目标缺陷对应的像素，所检测到的结果准确、可靠。
45.下面结合图2～图8对本技术的检测芯片粘连区域缺陷的方法进行说明。该方法包括如下流程：
46.s1图像预处理
47.在模板匹配之前，需要对原始图像和模板图像做预处理操作，首先采用高斯滤波滤除其中的高斯噪声，采用中值滤波滤除其中的椒盐噪声，为减少光照影响，对图像进行最大最小值归一化处理，使其归一化到[0,1]，归一化处理公式如下：
[0048][0049]
其中，xi,yi分别表示归一化前后的像素点，min(x),max(x)分别表示图像灰度的最小值和最大值。
[0050]
s2基于模板匹配对图像数据进行自动标注
[0051]
为减少人工标注的工作量，提升标注效率，本技术实施例提出了一种基于模板匹配的自动标注技术，采用基于归一化互相关的相关系数：
[0052][0053]
其中，gx
t
,gy
t
分别表示模板图像在x和y方向的梯度幅值，gxs,gys分别表示原始图像在x和y方向的梯度幅值。
[0054]
首先分别计算模板图像w(x,y)和标准图像f(x,y)的梯度图，然后从原始图像的原点开始，获取一个和模板图像一样大小的子图，计算它们的相关系数，并将模板图像自左至右、自上至下在搜索图像中顺序滑动，依次遍历全图，计算出所有的相关系数，进行比较寻找最佳的匹配位置。当相关系数γ(x,y)取最大值时，则对应的(x,y)处为最佳匹配位置。其具体流程图如图2所示:
[0055]
然而，模板匹配只能针对旋转角度较小的图像，当图像中的芯片旋转角度较大时会产生较大的误差，需要由人工通过labelme或labelimg等标注软件进行重新标注。模板匹配的结果如图3所示。
[0056]
s3基于深度学习的目标检测模型定位出粘连区区域
[0057]
由于实际环境中成像条件复杂多变，传统的检测算法难以适应所有的图像，鲁棒性不足。因此，利用卷积神经网络强大的特征提取能力，构建yolov4目标检测网络来实现粘连区域的检测和定位。yolov4的主干特征提取网络为cspdaeknet53结构，包含了5个大的残差块，5个大的残差快包含的小残差单元个数分别为1、2、8、8、4。yolov4有三个不同特征尺度的输出，分别是19
×
19,38
×
38，76
×
76。针对每个特征层，设置了三种尺度的anchor box框进行判别，判断其内部是否包含目标及目标的种类，并进行非极大值抑制处理和anchor box调整来得到最终的预测框。其cspdaeknet53主干特征结构如表1所示：
[0058]
表1
[0059]
inputs608
×
608
×
3darknetconv2d_bn_mish608
×
608
×
32resblock_body
×
1304
×
304
×
64resblock_body
×
2152
×
152
×
128resblock_body
×
876
×
76
×
256resblock_body
×
838
×
38
×
512resblock_body
×
419
×
19
×
1024
[0060]
yolov4网络训练中的损失函数由目标框回归损失l
ciou
、置信度损失l
conf
和分类损失l
class
三部分组成。其中，目标框的回归函数采用ciou_loss，目标与anchor之间的距离，重叠率、尺度以及惩罚项都考虑进去，使得目标框回归变得更加稳定。
[0061]
l
ciou
的计算公式如下所示：
[0062][0063]
其中，v是衡量长宽比一致性的参数：
[0064][0065]
式中，c——预测框与实际框闭包区域的对角线距离；
[0066]
b、w、h——预测框的中心坐标及宽高；
[0067]bgt
、w
gt
、h
gt
——实际框的中心坐标及宽高。
[0068]
由于在实际工业环境下，很难搜集到大量的图像样本，因此需要对自动标注的数据进行数据扩增，如旋转、翻转、缩放、调整亮度以及对比度，得到训练数据集。将构建好的数据集放入yolov4网络中进行训练，学习率设置为0.0013，权重衰减系数设置为0.0005，总共训练6000次，训练曲线如图4所示。
[0069]
最终利用训练好的网络进行粘连区域的检测和定位。最终网络的检测结果如图5所示。
[0070]
s4基于无监督图像修复模型对粘连区缺陷进行修复重构
[0071]
将上一步骤yolov4检测到的芯片粘连区位置从图像中裁剪出来，得到粘连区域的图像，并将图像划分为32
×
32的子图像块。首先构建轻量化的自编码器网络模型。自编码器主要由编码器、全连接层和解码器3个部分构成，它通过编码和解码运算重构输入数据，以减少重构误差为目标来达到特征提取的目的。其中，编码器由4个卷积层和4个池化层组成，
解码器由4个上采样层和4个卷积层组成，每个卷积层后都经过了归一化层处理，池化层采用平均池化，能够更多的保留背景信息。激活函数除最后一个卷积层均采用relu激活函数，最后一层采用sigmoid激活函数，其激活函数公式如下：
[0072]
relu(x)＝max(x,0)
[0073][0074]
自编码器的网络结构图如图6所示：
[0075]
网络训练：使用无缺陷的图像块对自编码器进行训练，使网络学习到无缺陷图像块的特征。由于训练过程中没有利用数据标签，而只是以输入数据作为重构目标，属于典型的无监督学习。训练时的损失函数采用smooth l1损失，既解决了l1损失便于求导问题，又避免了l2损失发生梯度爆炸问题。其公式如下：
[0076][0077]
在检测过程中，自编码器会对输入图像进行缺陷修复，从而生成与输入图像类似的无缺陷图像。网络的修复结果如图7所示，其中，图7中(a)为原始图像，(b)为网络修复的图像。
[0078]
s5基于自适应阈值的像素级缺陷定位
[0079]
首先将输入的图像和经上一步网络重构出的图像进行残差计算，得到残差图像。然后将残差图像利用自适应阈值，进行二值化处理。自适应阈值的公式为
[0080]
t＝μ λσ
[0081]
其中，t为自适应阈值，μ、σ分别为残差图像的均值和标准差，λ为调整系数。
[0082]
二值化处理公式如下：
[0083][0084]
其中，x(i,j)为残差图在(i,j)处的像素值，y(i,j)为分割后二值图像在(i,j)处的像素值。
[0085]
最终的缺陷分割结果如图8所示。
[0086]
图9为本发明实施例提供的一种检测芯片粘连区域缺陷的装置的结构框图。
[0087]
如图9所示，本发明实施例的一种检测芯片粘连区域缺陷的装置包括如下模块：
[0088]
第一预处理模块901，用于对采集到的x射线图像进行预处理，得到第一图像；
[0089]
定位模块902，用于利用训练好的目标检测模型，定位出所述第一图像中粘连区域的位置；
[0090]
修复模块903，用于基于无监督图像修复模型对所述第一图像中的粘连区域缺陷进行修复，得到第二图像；
[0091]
确定模块904，用于采用自适应阈值的分割算法对第一图像、第二图像进行缺陷检测，确定目标缺陷对应的像素。
[0092]
可选的，所述装置还包括：
[0093]
第二预处理模块，用于在所述第一预处理模块对采集到的x射线图像进行预处理，
得到第一图像之前，对预设数量的图像样本进行预处理，得到第三图像；
[0094]
标注模块，用于针对每个所述第三图像，基于模板匹配所述第三图像中的粘连区域位置，将匹配坐标转换为标签文件，并保存所述标签文件；
[0095]
训练模块，用于基于标注后的各图像样本，训练目标检测模型。
[0096]
可选的，所述装置还包括：
[0097]
扩增模块，用于在所述训练模块基于标注后的各图像样本，训练目标检测模型之前，对标注的图像样本进行样本扩增处理，其中，样本扩增处理包括：旋转、翻转、缩放、亮度调整以及对比度调整中的至少之一。
[0098]
可选的，所述第一预处理模块包括：
[0099]
第一子模块，用于采用高斯滤波滤除采集到的x射线图像中的高斯噪声，得到第四图像；
[0100]
第二子模块，用于采用中值滤波，滤除所述第四图像中的椒盐噪声，得到第一图像。
[0101]
可选的，所述确定模块包括：
[0102]
第三子模块，用于将第一图像和第二图像进行像素级差分处理，确定缺陷得分图；
[0103]
第四子模块，用于根据适应性阈值对图像进行分割，确定目标缺陷对应的像素。
[0104]
本技术实施例提供的检测芯片粘连区域缺陷的装置，可用于执行上述检测芯片粘连区域缺陷的方法的相关流程。二者的相关之处，参照上述检测芯片粘连区域缺陷的方法实施例中的相关说明即可，在此不再赘述。
[0105]
需要说明的是，以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
[0106]
本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。