基于规范化卷积注意力机制的PCB真假点识别与可解释方法与流程

基于规范化卷积注意力机制的pcb真假点识别与可解释方法
技术领域
1.本发明涉及印刷电路板图像分析领域与深度学习技术领域，尤其涉及一种基于规范化卷积注意力机制的pcb真假点识别与可解释方法。


背景技术：

2.传统pcb行业的缺陷检测中，由机器通过传统图像处理技术的缺陷检测排除有缺陷的pcb电路板，同时也会排除大量仅有少量可接受缺陷的pcb电路板。为了在被机器检测出存有缺陷的pcb电路板中筛选出可被接受的电路板，往往需要人工来识别处理，效率极低。这无疑加大了工作负担，进而降低了生产效率，也有可能出现误诊、漏诊的情况。
3.由于深度学习的快速发展以及大量的pcb数据集的涌现，通过深度学习进行pcb缺陷图像识别已经成为了一种可行的方法，这在很大程度地解决了上述问题。最为常用的当属卷积神经网络。神经网络越深层，网络的识别率越高，因此，增加神经网络的深度能够提高pcb缺陷检测的准确性。然而神经网络的预测能力仍十分有限，随着神经网络的深度增加，网络越难训练，可能会出现梯度消失、梯度爆炸或者是退化问题，并且传统的卷积神经网络在面对复杂多种的pcb缺陷图像时也存在图像识别准确率较低的问题。


技术实现要素：

4.针对背景技术提出的问题，本发明的目的在于提出一种基于规范化卷积注意力机制的pcb真假点识别与可解释方法，可以有效识别出大量缺陷电路板中可被接受的pcb电路板，并给出模型判别的理由解释，提高识别带虚假缺陷pcb的准确率，解决了由于深度卷积神经网络可能出现的梯度消失、梯度爆炸问题而导致pcb缺陷识别准确率较低和对假缺陷错判率较高的问题。
5.本发明的另一目的在于提出一种识别系统，能够应用于pcb行业的缺陷检测中，有效控制质量异常，减少人力成本。
6.本发明的另一目的在于提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于规范化卷积注意力机制的pcb真假点识别与可解释方法程序，程序被处理器执行时实现所述的基于规范化卷积注意力机制的pcb真假点识别与可解释方法的步骤。
7.为达此目的，本发明采用以下技术方案：
8.一种基于规范化卷积注意力机制的pcb真假点识别与可解释方法，包括以下步骤：
9.数据获取步骤：将pcb真假缺陷图数据集进行预处理，并将预处理后的数据集分为训练数据集与测试数据集；
10.模型构建步骤：构建基于规范化卷积注意力机制的pcb识别与可解释的神经网络模型；
11.模型训练步骤：设置得到的神经网络模型的超参数；
12.将标注好的训练数据集导入到设置好超参数的神经网络模型中进行训练学习，采用随机梯度下降算法和类高斯分布损失算法训练模型；
13.模型在运算时输出分类预测结果，并生成对应pcb真假分类缺陷的标准化特征图，对比标准化特征图后给出对单样本判断的原因即判断逻辑解释，通过判断逻辑解释的准确性来进行人工调整神经网络以再次优化模型，待模型充分收敛后保存，导出模型结构和权重参数，得到训练好的神经网络模型；
14.数据测试步骤：用神经网络模型对测试数据集中的pcb真假点数据进行识别测试，得到最终的真假点分类结果和对每次判断的自解释输出。
15.更进一步说明，所述模型构建步骤中，所述神经网络模型的卷积层包括自上而下的多注意力机制模块、特征规范化模块和对比解释模块，包括以下步骤：
16.基于所述多注意力机制模块生成包含多个关键局部特征的样本综合特征图；
17.基于所述特征规范化模块生成样本的标准化特征图，所述标准化特征图包括样本标准特征图和累计平均特征图；
18.基于所述对比解释模块对样本标准特征图和累计平均特征图进行对比以进行类别判断并给出模型判断原因。
19.更进一步说明，所述多注意力机制模块由多通道的分步注意力卷积层组成，每个分步注意力卷积层均包括bn层、relu层和三维卷积层，随着注意力的提高，卷积核分别由1*1*1到2*2*2到3*3*3，将一张图片分成多个注意力特征图通道，通道之间有距离限制，每个通道分别提取不同部位的关键局部特征，最后取各通道的特征图的峰值加权合并得到包含多个关键局部特征的样本综合特征图。
20.更进一步说明，所述特征规范化模块位于特征图的输出层，所述特征规范化模块包括二维互相关层、bn层和relu层，能将得到的样本综合特征图进行规范化对准，得到并输出有标准位姿的样本标准特征图和累计平均特征图；
21.其中，包含的二维互相关算法公式为：
[0022][0023]
其中，f为输入特征图，f(x,y)为输入特征图中的每个点，t是指与输入特征图作互相关运算的模板图，指模板图的平均值，指输入特征图与模板图对应部分的平均值，u与v指模板图在x轴与y轴的移动单位。
[0024]
更进一步说明，所述对比解释模块包括交叉对比层、flatten层、3层全连接层、softmax层和可解释输出模块，所述3层全连接层分别为含有128个神经元的h1、含有100个神经元的h2和含有10个神经元的h3，判别结果的输出层为softmax层，解释结果输出层为自定义的专家系统解释器。
[0025]
更进一步说明，所述模型训练步骤中，所述神经网络模型通过类高斯分布损失算法进行梯度下降，所述类高斯分布损失算法用于引导所述多注意力机制模块找到准确的局部关键特征位置，类高斯分布损失算法的公式为：
[0026][0027]
其中，aexp指以e为底的指数函数，(x0,y0)表示局部关键点位置，(x,y)为当前点位
置，σ
x
为x总体的标准差，σy为y总体的标准差。
[0028]
更进一步说明，所述数据获取步骤包括：
[0029]
收集aoi设备检测出的带缺陷的pcb实物图，通过人工分类出其中的真缺陷与假缺陷图，做好真假标签标注，将收集好的pcb缺陷图输入到预处理系统中；
[0030]
通过图像膨胀与腐蚀以及二值化对pcb缺陷图进行处理。
[0031]
更进一步说明，所述模型训练步骤还包括经过多次实验调整神经网络模型的超参数，所述超参数包括模型的隐藏层层数、选用的激活函数和深度可分离卷积核数量。
[0032]
一种识别系统，执行所述的基于规范化卷积注意力机制的pcb真假点识别与可解释方法，包括：
[0033]
数据获取模块，用于将pcb真假缺陷图数据集进行预处理，并将预处理后的数据集分为训练数据集与测试数据集；
[0034]
模型构建模块，用于构建基于规范化卷积注意力机制的pcb识别与可解释的神经网络模型；
[0035]
模型训练模块，用于设置得到的神经网络模型的超参数；还用于将标注好的训练数据集导入到设置好超参数的神经网络模型中进行训练学习，采用随机梯度下降算法和类高斯分布损失算法训练模型；还用于模型在运算时输出分类预测结果，并生成对应pcb真假分类缺陷的标准化特征图，对比标准化特征图后给出对单样本判断的原因即判断逻辑解释，通过判断逻辑解释的准确性来进行人工调整神经网络以再次优化模型，待模型充分收敛后保存，导出模型结构和权重参数，得到训练好的神经网络模型；
[0036]
数据测试模块，用于使用神经网络模型对测试数据集中的pcb真假点数据进行识别测试，得到最终的真假点分类结果和对每次判断的自解释输出。
[0037]
一种计算机可读存储介质，所述计算机可读存储介质上存储有基于规范化卷积注意力机制的pcb真假点识别与可解释方法程序，所述基于规范化卷积注意力机制的pcb真假点识别与可解释方法程序被处理器执行时实现所述的基于规范化卷积注意力机制的pcb真假点识别与可解释方法的步骤。
[0038]
与现有技术相比，本发明的实施例具有以下有益效果：
[0039]
通过自上而下的多注意力机制的卷积神经网络结合规范化特征图的方法实现对pcb板进行精准的缺陷识别并解释缺陷识别原因，用神经网络模型对测试数据集中的pcb真假点数据进行识别测试，得到最终的真假点分类结果与对每次判断的自解释输出，该方法可以自生成合理的类别标准特征图，根据对比标准化特征图进行更准确的判断与定位，并给出判断的理由，大大提高了pcb真假分类准确性并实现初步模型判断可解释性。本方法可以有效识别出大量缺陷电路板中可被接受的pcb电路板，并给出模型判别的理由解释，通过模型判别理由的合理性还可以再次调整优化模型，实现提高识别带虚假缺陷pcb的准确率，提高了pcb真假分类准确性，大大降低了在pcb复检端所需的人工成本，极大提高了工作效率，解决了由于深度卷积神经网络可能出现的梯度消失、梯度爆炸问题而导致pcb缺陷识别准确率较低和对假缺陷错判率较高的问题，并实现了判别的简易可解释性，让模型的输出可信度更高。
附图说明
[0040]
图1是本发明一个实施例的基于规范化卷积注意力机制的pcb真假点识别与可解释方法的流程图；
[0041]
图2是本发明一个实施例的基于规范化卷积注意力机制的pcb识别与可解释的神经网络模型的结构图；
[0042]
图3是本发明一个实施例的基于规范化卷积注意力机制的pcb识别与可解释的神经网络模型的多注意力机制(multi-attention)模块的结构图；
[0043]
图4是本发明一个实施例的基于规范化卷积注意力机制的pcb识别与可解释的神经网络模型的特征规范化层(feature normalization layer)的结构图。
具体实施方式
[0044]
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0045]
就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0046]
如图1所示，一种基于规范化卷积注意力机制的pcb真假点识别与可解释方法，包括以下步骤：
[0047]
数据获取步骤：将pcb真假缺陷图数据集进行预处理，并将预处理后的数据集分为训练数据集与测试数据集；
[0048]
模型构建步骤：构建基于规范化卷积注意力机制的pcb识别与可解释的神经网络模型；
[0049]
模型训练步骤：设置得到的神经网络模型的超参数；
[0050]
将标注好的训练数据集导入到设置好超参数的神经网络模型中进行训练学习，采用随机梯度下降算法和类高斯分布损失算法训练模型；
[0051]
模型在运算时输出分类预测结果，并生成对应pcb真假分类缺陷的标准化特征图，对比标准化特征图后给出对单样本判断的原因即判断逻辑解释，通过判断逻辑解释的准确性来进行人工调整神经网络以再次优化模型，待模型充分收敛后保存，导出模型结构和权重参数，得到训练好的神经网络模型；
[0052]
数据测试步骤：用神经网络模型对测试数据集中的pcb真假点数据进行识别测试，得到最终的真假点分类结果和对每次判断的自解释输出。
[0053]
本发明通过自上而下的多注意力机制的卷积神经网络结合规范化特征图的方法
实现对pcb板进行精准的缺陷识别并解释缺陷识别原因，用神经网络模型对测试数据集中的pcb真假点数据进行识别测试，得到最终的真假点分类结果与对每次判断的自解释输出，该方法可以自生成合理的类别标准特征图，根据对比标准化特征图进行更准确的判断与定位，并给出判断的理由，大大提高了pcb真假分类准确性并实现初步模型判断可解释性。本方法可以有效识别出大量缺陷电路板中可被接受的pcb电路板，并给出模型判别的理由解释，通过模型判别理由的合理性还可以再次调整优化模型，实现提高识别带虚假缺陷pcb的准确率，提高了pcb真假分类准确性，大大降低了在pcb复检端所需的人工成本，极大地提高了工作效率，解决了由于深度卷积神经网络可能出现的梯度消失、梯度爆炸问题而导致pcb缺陷识别准确率较低和对假缺陷错判率较高的问题，并实现了判别的简易可解释性，让模型的输出可信度更高。
[0054]
具体的，在本实施例中，将测试集的样本输入到已经训练好的pcb真假点识别与可解释的神经网络模型中，模型输出样本的判断类别以及判断的逻辑解释，同时达到了较高的分类识别准确率还可以查看判别解释来增强结果的可信度。
[0055]
如图2至图4所示，更进一步说明，所述模型构建步骤中，所述神经网络模型的卷积层包括自上而下的多注意力机制模块、特征规范化模块和对比解释模块，包括以下步骤：
[0056]
基于所述多注意力机制模块生成包含多个关键局部特征的样本综合特征图；
[0057]
基于所述特征规范化模块生成样本的标准化特征图，所述标准化特征图包括样本标准特征图和累计平均特征图；
[0058]
基于所述对比解释模块对样本标准特征图和累计平均特征图进行对比以进行类别判断并给出模型判断原因。
[0059]
所述神经网络模型中的卷积层主要包括三部分，先引入了自上而下的多注意力机制(multi-attention)，再在卷积输出层添加了特征规范化层(feature normalization layer)，用于生成样本的标准化特征图，最后输入到对比与解释模块输出判别与逻辑解释。
[0060]
在本实施例中，所述多注意力机制模块由多通道的分步注意力卷积层组成，每个分步注意力卷积层均包括bn层、relu层和三维卷积层，随着注意力的提高，卷积核分别由1*1*1到2*2*2到3*3*3，将一张图片分成多个注意力特征图通道，通道之间有距离限制，每个通道分别提取不同部位的关键局部特征，最后取各通道的特征图的峰值加权合并得到包含多个关键局部特征的样本综合特征图。
[0061]
具体地，多注意力机制(multi-attention)模块由多通道的分步注意力卷积层组成，通道之间引入了差异化算法限制dis(mi)来实现每个通道能找到不同的位置的局部特征，通过三层注意力卷积层的迭代实现定位到细节特征，每个分布注意力卷积层还包括三维卷积核、relu层与resnet层，其中：
[0062]
dis(mi)＝∑
(x，y)∈mi
mi(x，y)[||x-t
x
||2 ||y-ty||2]；
[0063][0064]
resnet(z)＝h1(z) z；
[0065]
其中，(t
x
，ty)是指中心的关键点位置，(x，y)是指当前的关键点位置，z是指上一层的输出，h1()指残差卷积模块计算；
[0066]
在本实施例中，所述特征规范化模块位于特征图的输出层，所述特征规范化模块
包括二维互相关层、bn层和relu层，能将得到的样本综合特征图进行规范化对准，得到并输出有标准位姿的样本标准特征图和累计平均特征图；
[0067]
其中，包含的二维互相关算法公式为：
[0068][0069]
其中，f为输入特征图，f(x,y)为输入特征图中的每个点，t是指与输入特征图作互相关运算的模板图，指模板图的平均值，指输入特征图与模板图对应部分的平均值，u与v指模板图在x轴与y轴的移动单位。
[0070]
在本实施例中，所述对比解释模块包括交叉对比层、flatten层、3层全连接层、softmax层和可解释输出模块，所述3层全连接层分别为含有128个神经元的h1、含有100个神经元的h2和含有10个神经元的h3，判别结果的输出层为softmax层，解释结果输出层为自定义的专家系统解释器。
[0071]
本实施例中，模型的输出层同时包括了分类判别输出与可解释输出，其中的判别输出模块由三层全连接层构成，分别为含有128个神经元的h1、含有100个神经元的h2和含有10个神经元的h3，判别结果的输出层为softmax层，其输出预测结果后根据标签进行随机梯度下降来优化更新神经网络，而可解释输出模块由人为定义的逻辑专家系统解释器构成，直接对接交叉对比层，其通过对比样本标准特征图与累计平均特征图的差异以此输出神经网络判别的逻辑解释，通过人为判断给出解释的合理性来调整模型参数进一步优化神经网络。
[0072]
为了提高pcb缺陷识别的准确率并引导模型能确切定位到合适的缺陷位置，本发明提出了多注意力卷积机制(multi-attention)与特征规范化算法(feature normalization)相结合，神经网络主要包括三个模块，先输入到自上而下的多注意力机制(multi-attention)模块，得到的样本综合特征图xz，再输入到特征规范化层(feature normalization layer)，得到样本标准特征图xn与累计平均特征图x
p
，再输入到对比解释模块中，最终同时输出分类判断结果与判断原因解释。具体地，将样本图片卷积后先通过多注意力模块得到多个局部特征的特征图x[x
′0、x
′1、x
′2...]，并取各特征图的峰值加权得到样本综合特征图xz，再将xz与输入特征规范化模块根据互相关算法计算出γ(μ，v)的最大值位置从而进行特征图自旋转对齐得到xn(n为样本的总数量)，再将xn中的每个xi求和得到累计平均特征图二者同时输入对比解释模块可以得到精确的判别与判别逻辑解释，其中将每一次输出的x求和得到累计平均特征图x
p
的公式为：
[0073]
x[x
′0、x
′1、x
′2...]＝f(x0)；
[0074]
xz＝max(x[x0、x1、x2...])；
[0075][0076]
[0077]
其中，f指多注意力模块运算，xo指输入图，g指通过特征规范化模块中进行旋转找最值的操作，xi指输入图xn中的每个xi。
[0078]
本发明通过多注意力机制模块得到包含重要局部特征的样本综合特征图，再经过特征规范化层得到样本标准特征图与累计平均特征图，二者通过对比进行类别判断并同时根据解释器给出模型判断原因，并可根据原因合理性再调整优化模型，最终模型可以达到极高的分类准确性与判别理由合理性。
[0079]
在本实施例中，所述模型训练步骤中，所述神经网络模型通过类高斯分布损失算法进行梯度下降，所述类高斯分布损失算法用于引导所述多注意力机制模块找到准确的局部关键特征位置，类高斯分布损失算法的公式为：
[0080][0081]
其中，aexp指以e为底的指数函数，(x0，y0)表示局部关键点位置，(x，y)为当前点位置，σ
x
为x总体的标准差，σy为y总体的标准差。
[0082]
神经网络模型通过类高斯分布的损失算法进行梯度下降，从而引导多注意力层中的每个通道能定位到合理的局部有效特征。
[0083]
具体地，所述数据获取步骤包括：
[0084]
收集aoi设备检测出的带缺陷的pcb实物图，通过人工分类出其中的真缺陷与假缺陷图，做好真假标签标注，将收集好的pcb缺陷图输入到预处理系统中；
[0085]
通过图像膨胀与腐蚀以及二值化对pcb缺陷图进行处理。
[0086]
通过图像膨胀与腐蚀以及二值化对pcb缺陷图进行处理，可以将pcb的缺陷特征变得更加明显，使得缺陷特征更易判别，提高判别准确性。
[0087]
优选地，所述模型训练步骤还包括经过多次实验调整神经网络模型的超参数，所述超参数包括模型的隐藏层层数、选用的激活函数和深度可分离卷积核数量。
[0088]
一种识别系统，执行所述的基于规范化卷积注意力机制的pcb真假点识别与可解释方法，包括：
[0089]
数据获取模块，用于将pcb真假缺陷图数据集进行预处理，并将预处理后的数据集分为训练数据集与测试数据集；
[0090]
模型构建模块，用于构建基于规范化卷积注意力机制的pcb识别与可解释的神经网络模型；
[0091]
模型训练模块，用于设置得到的神经网络模型的超参数；还用于将标注好的训练数据集导入到设置好超参数的神经网络模型中进行训练学习，采用随机梯度下降算法和类高斯分布损失算法训练模型；还用于模型在运算时输出分类预测结果，并生成对应pcb真假分类缺陷的标准化特征图，对比标准化特征图后给出对单样本判断的原因即判断逻辑解释，通过判断逻辑解释的准确性来进行人工调整神经网络以再次优化模型，待模型充分收敛后保存，导出模型结构和权重参数，得到训练好的神经网络模型；
[0092]
数据测试模块，用于使用神经网络模型对测试数据集中的pcb真假点数据进行识别测试，得到最终的真假点分类结果和对每次判断的自解释输出。
[0093]
所述识别系统深度融合ai人工智能的优势，在pcb行业的缺陷检测应用中，通过自
主研发的pcbai检测系统，对pcb板进行缺陷定位、缺陷分类，能够有效控制质量异常，减少人力成本。
[0094]
一种计算机可读存储介质，所述计算机可读存储介质上存储有基于规范化卷积注意力机制的pcb真假点识别与可解释方法程序，所述基于规范化卷积注意力机制的pcb真假点识别与可解释方法程序被处理器执行时实现所述的基于规范化卷积注意力机制的pcb真假点识别与可解释方法的步骤。
[0095]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。