一种基于神经网络的键合焊点缺陷智能识别方法与流程

1.本发明涉及焊点检测技术领域，尤其涉及一种基于神经网络的键合焊点缺陷智能识别方法。


背景技术：

2.在科学研究和工程应用领域，超声键合一直占有很重要的意义。超声键合是带有超声能量的焊接工具头以一定的压力按压在待键合金属线表面，通过超声能量带来的振动使相互接触的金属彼此摩擦并最终紧密结合在一起。焊点的好坏直接决定了芯片制造的质量与可靠性。对于焊点的检测，目前国内外广泛使用的方法是通过工业相机成像获得焊点形貌，但采集到的原始焊点图像分辨率较大，包含大量的背景区域，因此需要提取焊点所在区域，一般的办法有光流法、特征描述的方法和灰度一致性匹配(ncc)算法，但上述方法只是对于具有规则几何形状的焊点图像效果较好，并且对类似的机器视觉问题一般需要根据实际场景设计专门的算法。而对于引线键合或倒装键合的不规则焊点，需要采用基于形状轮廓的方法，并结合形态学的算法完成完整的焊点定位功能。因此，利用图像处理和机器学习技术进行引线键合焊点缺陷定位与分类，与其他焊点检测技术相比具有精度高、速度快、智能化水平高等特点，有广阔的应用前景。为此，我们提出一种基于神经网络的键合焊点缺陷智能识别方法。


技术实现要素：

3.基于背景技术存在的技术问题，本发明提出了一种基于神经网络的键合焊点缺陷智能识别方法，具有将激光轮廓与神经网络结合，提高检测准确度和检测效率的特点，解决了现有的键合焊点缺陷检测步骤繁琐，计算难度大，检测精度低的问题。
4.本发明提供如下技术方案：一种基于神经网络的键合焊点缺陷智能识别方法，包括如下步骤：
5.s1、通过激光轮廓仪采集大量已键合的焊点轮廓截面图，对不合格的焊点进行标注，获得图像数据集一；
6.s2、利用图像数据一训练缺陷识别模型，缺陷识别模型包括数据输入层、卷积层、relu激活层、池化层和全连接层；
7.数据输入层用于对焊点轮廓截面图进行归一化处理，卷积层的卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到；relu激活层用于把卷积层的输出结果做非线性映射；所述池化层用于将特征切成几个区域，取其最大值，得到新的、维度较小的特征；所述全连接层用于结合图像中的特征，把局部特征变为全局特征，计算待测图像与标准合格图像的相似系数；
8.s3、在键合焊点检测过程中，基于缺陷识别模型，识别已键合的焊点轮廓是否符合合格标准。
9.优选的，还可对焊点高度进行识别，具体步骤如下：
10.通过激光轮廓仪采集大量已键合的焊点轮廓截面图，对焊点轮廓的峰值点进行标注，获得图像数据集二，并利用图像数据集二训练焊点高低识别模型，并在训练焊点高低识别模型的训练中设置最高阈值和最低阈值，在键合焊点检测过程中，基于焊点高低识别模型识别出焊点高于最高阈值或低于最低阈值。
11.优选的，还可对焊点最大阈值面积和最小面积阈值进行识别，具体步骤如下：
12.通过激光轮廓仪采集大量已键合的焊点轮廓截面图，在最高点和水平面中间任意标注一条水平线，标注为焊点宽度，以及无焊点图像，获得图像数据集三，并利用图像数据集三训练焊点宽度识别模型，在训练焊点宽度识别模型的训练中设置最宽阈值和最窄阈值，在键合焊点检测过程中，基于焊点宽度识别模型识别出焊点过宽或过窄，以及宽度为0时为无焊点。
13.优选的，还可检测出焊点阈值形变过大，具体步骤如下：
14.通过激光轮廓仪采集大量已键合的焊点轮廓截面图，在最高点和水平面中间任意标注一条水平线，对水平线与焊点轮廓的两个边缘点以及最高点进行标注，确定两个边缘点相对最高点的对称关系，标注向左偏移和向右偏移，获得图像数据集四，并利用图像数据集四训练芯线不正识别模型，在芯线不正识别模型的训练中设置判定为镜像重合度，在键合焊点检测过程中，基于芯线不正识别模型识别出焊点因为芯线不正导致的不对称，以及不对称是偏左或偏右。
15.优选的，所述步骤s2中进行数据增强，通过将所述焊点轮廓截面图旋转到第一基准角度90度形成第一变形图像，第二基准角度180度形成第二变形图像，第三基准角度270度形成第三变形图像，然后对第一变形图像、第二变形图像、第三变形图像进行识别。
16.优选的，所述步骤s2中把输入数据各个维度的像素值都中心化为0并归一化，并用pca降维，提取焊点轮廓截面图特定信息，并对数据各个特征轴的幅度归一化。
17.优选的，所述步骤s2中训练模型使用铰接损失函数和l2-范数正则化。
18.优选的，所述模型训练中还采用优化器，其中学习率为0.01，动量值momentum为0.9，权重衰减系数为0.005。
19.优选的，所述步骤s2中搭建神经网络的具体步骤如下：
20.s21、训练数据；
21.s22、定义节点准备接收数据；
22.s23、定义神经层，包括：隐藏层和预测层；
23.s24、定义loss表达式；
24.s25、选择optimizer使loss达到最小。
25.优选的，所述步骤s1通过激光轮廓仪采集大量已键合的焊点轮廓截面图中，激光轮廓仪根据焊点的不同位置，每个特定位置的截面采集大量已键合的焊点轮廓截面图，形成位置一截面图数据集，位置二截面图数据集，位置三截面图数据集。
26.本发明提供了一种基于神经网络的键合焊点缺陷智能识别方法，基于直接采用激光轮廓仪采集焊点的截面轮廓图，相比现有的工业相机采集的焊点外观图更直观，且相比图像经过灰度处理及边缘检测算法等提取出来的焊点轮廓更准确，基于截面轮廓图的神经网络识别，相比现有的神经网络计算方式，计算量更小，且准确度更高，计算成本低，效率大大提高。
附图说明
27.图1为本发明实施例一合格焊点轮廓图；
28.图2为本发明实施例二焊点高度标注轮廓图；
29.图3为本发明实施例三焊点宽度标注轮廓图；
30.图4为本发明实施例四焊点对称标注轮廓图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.本发明提供一种技术方案：一种基于神经网络的键合焊点缺陷智能识别方法，包括如下步骤：
33.s1、通过激光轮廓仪采集大量已键合的焊点轮廓截面图，对不合格的焊点进行标注，获得图像数据集一；激光轮廓仪根据焊点位置的不同，每个特定位置的截面采集大量已键合的焊点轮廓截面图，形成位置一截面图数据集，位置二截面图数据集，位置三截面图数据集。
34.s2、利用图像数据一训练缺陷识别模型，缺陷识别模型包括数据输入层、卷积层、relu激活层、池化层和全连接层；
35.进行数据增强，通过将所述焊点轮廓截面图旋转到第一基准角度90度形成第一变形图像，第二基准角度180度形成第二变形图像，第三基准角度270度形成第三变形图像，然后对第一变形图像、第二变形图像、第三变形图像进行识别。
36.把输入数据各个维度的像素值都中心化为0并归一化，并用pca降维，提取焊点轮廓截面图特定信息，并对数据各个特征轴的幅度归一化。
37.训练模型使用铰接损失函数和l2-范数正则化。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。
38.模型训练中还采用优化器，其中学习率为0.01，动量值momentum为0.9，权重衰减系数为0.005。优化器是指采用优化方法来试图寻找模型的最优解。如神经网络中可以采取最基本的梯度下降法。
39.搭建神经网络的具体步骤如下：
40.s21、训练数据；
41.s22、定义节点准备接收数据；
42.s23、定义神经层，包括：隐藏层和预测层；
43.s24、定义loss表达式；
44.s25、选择optimizer使loss达到最小。
45.s3、在键合焊点检测过程中，基于缺陷识别模型，识别已键合的焊点轮廓是否符合合格标准。
46.实施例一：
47.如图1所示，检测已键合的焊点轮廓是否合格，具体步骤如下：
48.通过激光轮廓仪采集大量已键合的焊点轮廓截面图，对不合格的焊点进行标注，获得图像数据集一；利用图像数据一训练缺陷识别模型，缺陷识别模型包括数据输入层、卷积层、relu激活层、池化层和全连接层；在键合焊点检测过程中，基于缺陷识别模型，识别已键合的焊点轮廓是否符合合格标准。
49.实施例二：
50.如图2所示，对焊点高度进行识别，具体步骤如下：
51.通过激光轮廓仪采集大量已键合的焊点轮廓截面图，对焊点轮廓的峰值点进行标注，获得图像数据集二，并利用图像数据集二训练焊点高低识别模型，并在训练焊点高低识别模型的训练中设置最高阈值和最低阈值，在键合焊点检测过程中，基于焊点高低识别模型识别出焊点高于最高阈值或低于最低阈值。
52.实施例三：
53.如图3所示，对焊点最大阈值面积和最小面积阈值进行识别，具体步骤如下：
54.通过激光轮廓仪采集大量已键合的焊点轮廓截面图，在最高点和水平面中间任意标注一条水平线，标注为焊点宽度，以及无焊点图像，获得图像数据集三，并利用图像数据集三训练焊点宽度识别模型，在训练焊点宽度识别模型的训练中设置最宽阈值和最窄阈值，在键合焊点检测过程中，基于焊点宽度识别模型识别出焊点过宽或过窄，以及宽度为0时为无焊点。
55.实施例四：
56.如图4所示，检测芯线不正导致的焊点形变过大，具体步骤如下：
57.通过激光轮廓仪采集大量已键合的焊点轮廓截面图，在最高点和水平面中间任意标注一条水平线，对水平线与焊点轮廓的两个边缘点以及最高点进行标注，确定两个边缘点相对最高点的对称关系，标注向左偏移和向右偏移，获得图像数据集四，并利用图像数据集四训练芯线不正识别模型，在芯线不正识别模型的训练中设置判定为镜像重合度，在键合焊点检测过程中，基于芯线不正识别模型识别出焊点因为芯线不正导致的不对称，以及不对称是偏左或偏右。
58.本发明中，基于直接采用激光轮廓仪采集焊点的截面轮廓图，相比现有的工业相机采集的焊点外观图更直观，且相比图像经过灰度处理及边缘检测算法等提取出来的焊点轮廓更准确，基于截面轮廓图的神经网络识别，相比现有的神经网络计算方式，计算量更小，且准确度更高，计算成本低，效率大大提高。
59.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。