电路板表面缺陷检测方法、装置、电子设备及存储介质与流程

的卷积编码器和分割深度转置注意力编码器；所述下采样层为大小为2
×
2的卷积层。
8.优选地，所述卷积编码器包括从前到后依次连接的深度化卷积层、第一归一化层、第一逐点卷积层和第一加法器；所述深度化卷积层和所述第一加法器还与所述卷积编码器的特征图输入端连接；所述深度化卷积层的大小与所述卷积编码器的核大小相同。
9.优选地，所述分割深度转置注意力编码器包括特征编码模块和自注意计算模块；所述特征编码模块包括通道分切模块、第一通道、第二通道、第三通道、第四通道和张量拼接模块，所述通道分切模块用于把输入的特征图划分为四个子集分别输出至所述第一通道、所述第二通道、所述第三通道和所述第四通道，所述第一通道、所述第二通道、所述第三通道和所述第四通道的输出端分别与所述张量拼接模块连接，所述张量拼接模块用于把所述第一通道、所述第二通道、所述第三通道和所述第四通道的输出特征融合，所述第二通道、所述第三通道和所述第四通道中均设置有一个大小为3
×
3的深度化卷积层，所述第三通道的所述深度化卷积层的输入端与所述第二通道的所述深度化卷积层的输出端连接；所述自注意计算模块包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一l2范数模块、第二l2范数模块、激活函数层、第一交叉协方差注意力计算模块、第二交叉协方差注意力计算模块、第二重构模块、第二加法器、第三归一化层和第二逐点卷积层；所述第二归一化层的输入端与所述张量拼接模块的输出端连接，所述第二归一化层的输出端与所述第一重构模块的输入端连接，所述第一重构模块的输出端与所述第一线性层、所述第二线性层和所述第三线性层的输入端连接，所述第一线性层的输出端与所述第一交叉协方差注意力计算模块的输入端之间串联有所述第一l2范数模块，所述第二线性层的输出端与所述第一交叉协方差注意力计算模块的输入端之间串联有所述第二l2范数模块，所述第一交叉协方差注意力计算模块的输出端与所述激活函数层的输入端连接，所述激活函数层的输出端和所述第三线性层的输出端均与所述第二交叉协方差注意力计算模块的输入端连接，所述第二交叉协方差注意力计算模块的输出端与所述第二重构模块的输入端之间串联有所述第四线性层，所述张量拼接模块的输出端和所述第二重构模块的输出端均与所述第二加法器的输入端连接，所述第二加法器的输出端与所述第二逐点卷积层的输入端之间串联有所述第三归一化层。
10.该cnn-transformer融合模型由于引入了卷积编码器和分割深度转置注意力编码器，在卷积编码器中，自适应的卷积核与分割深度转置注意力编码器的多尺度感受野特性相呼应，在分割深度转置注意力编码器中，特征编码模块通过层次级联实现多尺度感受野的融合，并在自注意计算模块中，在通道维度上应用逐点卷积运算，可得到兼顾计算复杂度与全局注意力的输出。
11.优选地，所述cnn-transformer融合模型通过以下过程训练得到：b1.采集射频电源电路板的多个图片；b2.用识别框对各所述图片的表面缺陷区域进行标注，并用标签标注所述表面缺陷区域的缺陷类别，得到样本集；b3.按7:2:1的比例把所述样本集划分为训练集、验证集和测试集；b4.用所述训练集对所述cnn-transformer融合模型进行多次迭代训练并用所述
验证集验证训练后的cnn-transformer融合模型，以得到多个备选模型；b5.使用所述测试集对各所述备选模型进行测试，并根据评价指标选择最优的所述备选模型作为最终的cnn-transformer融合模型。
12.优选地，所述评价指标包括f1-score指标、recall指标和precision指标；步骤b5包括：使用所述测试集对各所述备选模型进行测试，以获取各所述备选模型的f1-score指标值、recall指标值和precision指标值；计算所述f1-score指标值、所述recall指标值和所述precision指标值的和或者加权和，得到综合指标值；选择所述综合指标值最大的所述备选模型作为最终的cnn-transformer融合模型。
13.通过综合上述三个指标来判断备选模型的优劣，更有利于得到实际识别效果最优的cnn-transformer融合模型。
14.第二方面，本技术提供了一种电路板表面缺陷检测装置，用于检测射频电源电路板的表面缺陷，包括：第一获取模块，用于获取待检测的电路板图像；识别模块，用于把所述电路板图像输入预先训练好的cnn-transformer融合模型，得到所述cnn-transformer融合模型输出的缺陷识别结果。
15.该电路板表面缺陷检测装置，通过使用cnn-transformer融合模型进行射频电源电路板的表面缺陷的识别，cnn-transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
16.优选地，所述cnn-transformer融合模型包括依次连接的输入层、第一阶层、第二阶层、第三阶层和第四阶层；所述第一阶层包括从前到后依次连接的大小为4
×
4的非重叠卷积层和三个连续堆叠的核大小为3
×
3的卷积编码器；所述第二阶层包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5
×
5的卷积编码器、位置编码添加入口和分割深度转置注意力编码器；所述第三阶层包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7
×
7的卷积编码器和分割深度转置注意力编码器；所述第四阶层包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9
×
9的卷积编码器和分割深度转置注意力编码器；所述下采样层为大小为2
×
2的卷积层。
17.第三方面，本技术提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述电路板表面缺陷检测方法中的步骤。
18.第四方面，本技术提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述电路板表面缺陷检测方法中的步骤。
19.有益效果：本技术提供的电路板表面缺陷检测方法、装置、电子设备及存储介质，获取待检测
的电路板图像；把所述电路板图像输入预先训练好的cnn-transformer融合模型，得到所述cnn-transformer融合模型输出的缺陷识别结果；由于cnn-transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
附图说明
20.图1为本技术实施例提供的电路板表面缺陷检测方法的流程图；图2为本技术实施例提供的电路板表面缺陷检测装置的结构示意图；图3为本技术实施例提供的电子设备的结构示意图；图4为cnn-transformer融合模型的结构示意图；图5为卷积编码器的结构示意图；图6为分割深度转置注意力编码器的结构示意图；图7为示例性的识别结果图。
21.标号说明：1、第一获取模块；2、识别模块；100、第一阶层；200、第二阶层；201、位置编码添加入口；301、处理器；302、存储器；303、通信总线；400、第三阶层；500、第四阶层；600、第一加法器；700、特征编码模块；701、第一通道；702、第二通道；703、第三通道；704、第四通道；800、自注意计算模块；801、第一交叉协方差注意力计算模块；802、第二交叉协方差注意力计算模块；803、第二加法器。
具体实施方式
22.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
24.请参照图1，图1是本技术一些实施例中的一种电路板表面缺陷检测方法，用于检测射频电源电路板的表面缺陷，包括步骤：a1.获取待检测的电路板图像；a2.把电路板图像输入预先训练好的cnn-transformer融合模型，得到cnn-transformer融合模型输出的缺陷识别结果。
25.该电路板表面缺陷检测方法，通过使用cnn-transformer融合模型进行射频电源电路板的表面缺陷的识别，cnn-transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
26.参考图4，cnn-transformer融合模型包括依次连接的输入层、第一阶层100、第二阶层200、第三阶层400和第四阶层500；
第一阶层100包括从前到后依次连接的大小为4
×
4的非重叠卷积层和三个连续堆叠的核大小为3
×
3的卷积编码器；第二阶层200包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5
×
5的卷积编码器、位置编码添加入口201和分割深度转置注意力编码器；第三阶层400包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7
×
7的卷积编码器和分割深度转置注意力编码器；第四阶层500包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9
×
9的卷积编码器和分割深度转置注意力编码器；其中，下采样层为大小为2
×
2的卷积层。
27.该cnn-transformer融合模型采用了标准的“四阶段”金字塔式结构；在输入层中，输入图像的尺寸为h
×w×
c，h、w、c分别为输入图像的高度、宽度和通道数；在第一阶层100中，网络的起始部分，使用大小为4
×
4的非重叠卷积层来实现较好的池化效果，随后使用三个连续堆叠的核大小为3
×
3的卷积编码器来提取局部特征，最后输出的特征图的尺寸为h/4
×
w/4
×
c1，c1为该特征图的通道数；在第二阶层200中，通过下采样层使特征图的空间大小减小为原来的一半（高度和宽度各减小为原来的一半），并增加通道数，在两个连续堆叠的核大小为5
×
5的卷积编码器的处理后，在进入分割深度转置注意力编码器前以element-wise add的方式从位置编码添加入口201添加位置编码，最后输出的特征图的尺寸变为h/8
×
w/8
×
c2，c2为该特征图的通道数；在第三阶层400中和第四阶层500中，分别通过下采样层使特征图的空间大小减小为原来的一半，并增加通道数，分别使用核大小为7
×
7和9
×
9的卷积编码器对特征图处理后，输入分割深度转置注意力编码器，卷积编码器中利用较大的卷积核来增加卷积神经网络的感受野，以提高模型性能，第三阶层400和第四阶层500输出的特征图的尺寸分别变为h/16
×
w/16
×
c3和h/32
×
w/32
×
c4，c3、c4分别为该两种特征图的通道数。
28.具体地，见图5，卷积编码器包括从前到后依次连接的深度化卷积层、第一归一化层、第一逐点卷积层和第一加法器600；深度化卷积层和第一加法器600还与卷积编码器的特征图输入端连接；深度化卷积层的大小与卷积编码器的核大小相同。对于第一阶层100的卷积编码器，其核大小为3
×
3，从而，其深度化卷积层的大小为3
×
3；对于第二阶层200的卷积编码器，其核大小为5
×
5，从而，其深度化卷积层的大小为5
×
5；对于第三阶层400的卷积编码器，其核大小为7
×
7，从而，其深度化卷积层的大小为7
×
7；对于第四阶层500的卷积编码器，其核大小为9
×
9，从而，其深度化卷积层的大小为9
×
9。在卷积编码器中，经过第一归一化层的归一化操作后，通过第一逐点卷积层把特征图的通道数扩展为原来的四倍后利用高斯误差线性单元（gelu）激活非线性特征映射，从而增加非线性。
29.具体地，见图6，分割深度转置注意力编码器包括特征编码模块700和自注意计算模块800；特征编码模块700包括通道分切模块、第一通道701、第二通道702、第三通道703、第四通道704和张量拼接模块，通道分切模块用于把输入的特征图划分为四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，第一通道701、第二通道702、第三通道703和第四通道704的输出端分别与张量拼接模块连接，张量拼接模块用于把第一通道701、第二通道702、第三通道703和第四通道704的输出特征融合，第二通道702、第三通
道703和第四通道704中均设置有一个大小为3
×
3的深度化卷积层，第三通道703的深度化卷积层的输入端与第二通道702的深度化卷积层的输出端连接；自注意计算模块800包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一l2范数模块、第二l2范数模块、激活函数层、第一交叉协方差注意力计算模块801、第二交叉协方差注意力计算模块802、第二重构模块、第二加法器803、第三归一化层和第二逐点卷积层；第二归一化层的输入端与张量拼接模块的输出端连接，第二归一化层的输出端与第一重构模块的输入端连接，第一重构模块的输出端与第一线性层、第二线性层和第三线性层的输入端连接，第一线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第一l2范数模块，第二线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第二l2范数模块，第一交叉协方差注意力计算模块801的输出端与激活函数层的输入端连接，激活函数层的输出端和第三线性层的输出端均与第二交叉协方差注意力计算模块802的输入端连接，第二交叉协方差注意力计算模块802的输出端与第二重构模块的输入端之间串联有第四线性层，张量拼接模块的输出端和第二重构模块的输出端均与第二加法器803的输入端连接，第二加法器803的输出端与第二逐点卷积层的输入端之间串联有第三归一化层。
30.在特征编码模块700中，对于尺寸为h
×w×
c的输入特征图，利用通道分切模块把该输入特征图划分为四个子集，每个子集的尺寸均为h
×w×
c/4，四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，其中，第一个子集经过第一通道701直接输出至张量拼接模块；第二个子集在第二通道702中经过大小为3
×
3的深度化卷积层的卷积操作后同时输出至张量拼接模块和第三通道703；第三个子集与第二通道702输出的子集在第三通道703进行特征融合后输入大小为3
×
3的深度化卷积层进行卷积操作，最后输出至张量拼接模块；第四个子集在第四通道704中经过大小为3
×
3的深度化卷积层的卷积操作后输出至张量拼接模块；四个通道输出具有不同尺度感受野的特征图子集，最后由张量拼接模块把四个特征图子集拼接为尺寸为h
×w×
c特征图。
31.在自注意计算模块800中，输入的尺寸为h
×w×
c的特征图，在归一化处理后，经过第一重构模块的重构操作（reshape操作）变为尺寸为hw
×
c的特征图，把该尺寸为hw
×
c的特征图同时输入第一线性层、第二线性层、第三线性层进行处理分别得到三组特征，分别记为q(query，查询)、k(key，键)、v(value，值)，分别利用第一l2范数模块和第二l2范数模块对q和k进行稳定训练后输入第一交叉协方差注意力计算模块801进行交叉协方差注意力计算，计算是在通道维度上进行的，只对q进行转置操作，计算结果与激活函数层的softmax激化函数（即该激活函数层为softmax层）结合即得到注意力分矩阵，该注意力分矩阵进一步与v在第二交叉协方差注意力计算模块802中进行交叉协方差注意力计算，计算结果为尺寸为hw
×
c的注意力图，该注意力图通过第二重构模块的重构操作变为尺寸为h
×w×
c的注意力图，尺寸为h
×w×
c的注意力图与输入的尺寸为h
×w×
c的特征图在第二加法器803处融合后，由第三归一化层进行归一化处理，最后在第二逐点卷积层中进行两次1
×
1点卷积和高斯误差线性单元（gelu）激活以生成非线性特征。
32.该cnn-transformer融合模型由于引入了卷积编码器和分割深度转置注意力编码器，在卷积编码器中，自适应的卷积核与分割深度转置注意力编码器的多尺度感受野特性相呼应，在分割深度转置注意力编码器中，特征编码模块700通过层次级联实现多尺度感受
野的融合，并在自注意计算模块中，在通道维度上应用逐点卷积运算，可得到兼顾计算复杂度与全局注意力的输出。
33.优选地，该cnn-transformer融合模型通过以下过程训练得到：b1.采集射频电源电路板的多个图片（具体数量可根据实际需要设置）；b2.用识别框对各图片的表面缺陷区域进行标注，并用标签标注表面缺陷区域的缺陷类别，得到样本集；b3.按7:2:1的比例把样本集划分为训练集、验证集和测试集；b4.用训练集对cnn-transformer融合模型进行多次迭代训练并用验证集验证训练后的cnn-transformer融合模型，以得到多个备选模型；b5.使用测试集对各备选模型进行测试，并根据评价指标选择最优的备选模型作为最终的cnn-transformer融合模型。
34.步骤b2中，可利用labelimg标注软件进行标注，但不限于此。
35.其中，步骤b4中，迭代训练的次数可根据实际需要设置，可以把每次迭代训练后得到的模型均作为备选模型，或者每迭代训练n次（n为大于1的预设正整数，可根据实际需要设置，例如为10，但不限于此）就把得到的模型作为备选模型。记录每个备选模型的网络参数。其中，每次迭代训练迭代至损失函数（损失函数可以但不限于此是交叉熵损失函数）收敛或迭代次数达到次数阈值（次数阈值可根据实际需要设置，例如为200，但不限于此），则停止当次迭代训练。
36.其中，评价指标可以选用现有技术中的任意评价指标。
37.在一些优选实施方式中，评价指标包括f1-score指标、recall指标和precision指标；步骤b5包括：使用测试集对各备选模型进行测试，以获取各备选模型的f1-score指标值、recall指标值和precision指标值；计算f1-score指标值、recall指标值和precision指标值的和或者加权和，得到综合指标值；选择综合指标值最大的备选模型作为最终的cnn-transformer融合模型（具体地，在选出综合指标值最大的备选模型后，把其对应的网络参数赋值给cnn-transformer融合模型）。
38.通过综合上述三个指标来判断备选模型的优劣，更有利于得到实际识别效果最优的cnn-transformer融合模型。
39.其中，步骤a2中，cnn-transformer融合模型输出的缺陷识别结果包括识别结果图像和识别结果数据，识别结果图像为用识别框标记各表面缺陷区域的电路板图像，且识别结果图像上具有用于表示各表面缺陷区域的缺陷类别（例如缺件、立碑等）的标签，识别结果数据包括各识别框的位置数据和尺寸数据，还包括各识别框对应的标签信息（为用于表示缺陷区域的缺陷类别的信息，可以是名称信息、编号信息等）。
40.图7为使用该电路板表面缺陷检测方法对一个射频电源电路板进行表面缺陷检测的识别结果图，准确地识别出了零件缺少的缺陷。
41.由上可知，该电路板表面缺陷检测方法，获取待检测的电路板图像；把电路板图像
输入预先训练好的cnn-transformer融合模型，得到cnn-transformer融合模型输出的缺陷识别结果；由于cnn-transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
42.参考图2，本技术提供了一种电路板表面缺陷检测装置，用于检测射频电源电路板的表面缺陷，包括：第一获取模块1，用于获取待检测的电路板图像；识别模块2，用于把电路板图像输入预先训练好的cnn-transformer融合模型，得到cnn-transformer融合模型输出的缺陷识别结果。
43.该电路板表面缺陷检测装置，通过使用cnn-transformer融合模型进行射频电源电路板的表面缺陷的识别，cnn-transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
44.参考图4，cnn-transformer融合模型包括依次连接的输入层、第一阶层100、第二阶层200、第三阶层400和第四阶层500；第一阶层100包括从前到后依次连接的大小为4
×
4的非重叠卷积层和三个连续堆叠的核大小为3
×
3的卷积编码器；第二阶层200包括从前到后依次连接的下采样层、两个连续堆叠的核大小为5
×
5的卷积编码器、位置编码添加入口201和分割深度转置注意力编码器；第三阶层400包括从前到后依次连接的下采样层、八个连续堆叠的核大小为7
×
7的卷积编码器和分割深度转置注意力编码器；第四阶层500包括从前到后依次连接的下采样层、两个连续堆叠的核大小为9
×
9的卷积编码器和分割深度转置注意力编码器；其中，下采样层为大小为2
×
2的卷积层。
45.该cnn-transformer融合模型采用了标准的“四阶段”金字塔式结构；在输入层中，输入图像的尺寸为h
×w×
c，h、w、c分别为输入图像的高度、宽度和通道数；在第一阶层100中，网络的起始部分，使用大小为4
×
4的非重叠卷积层来实现较好的池化效果，随后使用三个连续堆叠的核大小为3
×
3的卷积编码器来提取局部特征，最后输出的特征图的尺寸为h/4
×
w/4
×
c1，c1为该特征图的通道数；在第二阶层200中，通过下采样层使特征图的空间大小减小为原来的一半（高度和宽度各减小为原来的一半），并增加通道数，在两个连续堆叠的核大小为5
×
5的卷积编码器的处理后，在进入分割深度转置注意力编码器前以element-wise add的方式从位置编码添加入口201添加位置编码，最后输出的特征图的尺寸变为h/8
×
w/8
×
c2，c2为该特征图的通道数；在第三阶层400中和第四阶层500中，分别通过下采样层使特征图的空间大小减小为原来的一半，并增加通道数，分别使用核大小为7
×
7和9
×
9的卷积编码器对特征图处理后，输入分割深度转置注意力编码器，卷积编码器中利用较大的卷积核来增加卷积神经网络的感受野，以提高模型性能，第三阶层400和第四阶层500输出的特征图的尺寸分别变为h/16
×
w/16
×
c3和h/32
×
w/32
×
c4，c3、c4分别为该两种特征图的通道数。
46.具体地，见图5，卷积编码器包括从前到后依次连接的深度化卷积层、第一归一化层、第一逐点卷积层和第一加法器600；深度化卷积层和第一加法器600还与卷积编码器的特征图输入端连接；深度化卷积层的大小与卷积编码器的核大小相同。对于第一阶层100的
卷积编码器，其核大小为3
×
3，从而，其深度化卷积层的大小为3
×
3；对于第二阶层200的卷积编码器，其核大小为5
×
5，从而，其深度化卷积层的大小为5
×
5；对于第三阶层400的卷积编码器，其核大小为7
×
7，从而，其深度化卷积层的大小为7
×
7；对于第四阶层500的卷积编码器，其核大小为9
×
9，从而，其深度化卷积层的大小为9
×
9。在卷积编码器中，经过第一归一化层的归一化操作后，通过第一逐点卷积层把特征图的通道数扩展为原来的四倍后利用高斯误差线性单元（gelu）激活非线性特征映射，从而增加非线性。
47.具体地，见图6，分割深度转置注意力编码器包括特征编码模块700和自注意计算模块800；特征编码模块700包括通道分切模块、第一通道701、第二通道702、第三通道703、第四通道704和张量拼接模块，通道分切模块用于把输入的特征图划分为四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，第一通道701、第二通道702、第三通道703和第四通道704的输出端分别与张量拼接模块连接，张量拼接模块用于把第一通道701、第二通道702、第三通道703和第四通道704的输出特征融合，第二通道702、第三通道703和第四通道704中均设置有一个大小为3
×
3的深度化卷积层，第三通道703的深度化卷积层的输入端与第二通道702的深度化卷积层的输出端连接；自注意计算模块800包括第二归一化层、第一重构模块、第一线性层、第二线性层、第三线性层、第四线性层、第一l2范数模块、第二l2范数模块、激活函数层、第一交叉协方差注意力计算模块801、第二交叉协方差注意力计算模块802、第二重构模块、第二加法器803、第三归一化层和第二逐点卷积层；第二归一化层的输入端与张量拼接模块的输出端连接，第二归一化层的输出端与第一重构模块的输入端连接，第一重构模块的输出端与第一线性层、第二线性层和第三线性层的输入端连接，第一线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第一l2范数模块，第二线性层的输出端与第一交叉协方差注意力计算模块801的输入端之间串联有第二l2范数模块，第一交叉协方差注意力计算模块801的输出端与激活函数层的输入端连接，激活函数层的输出端和第三线性层的输出端均与第二交叉协方差注意力计算模块802的输入端连接，第二交叉协方差注意力计算模块802的输出端与第二重构模块的输入端之间串联有第四线性层，张量拼接模块的输出端和第二重构模块的输出端均与第二加法器803的输入端连接，第二加法器803的输出端与第二逐点卷积层的输入端之间串联有第三归一化层。
48.在特征编码模块700中，对于尺寸为h
×w×
c的输入特征图，利用通道分切模块把该输入特征图划分为四个子集，每个子集的尺寸均为h
×w×
c/4，四个子集分别输出至第一通道701、第二通道702、第三通道703和第四通道704，其中，第一个子集经过第一通道701直接输出至张量拼接模块；第二个子集在第二通道702中经过大小为3
×
3的深度化卷积层的卷积操作后同时输出至张量拼接模块和第三通道703；第三个子集与第二通道702输出的子集在第三通道703进行特征融合后输入大小为3
×
3的深度化卷积层进行卷积操作，最后输出至张量拼接模块；第四个子集在第四通道704中经过大小为3
×
3的深度化卷积层的卷积操作后输出至张量拼接模块；四个通道输出具有不同尺度感受野的特征图子集，最后由张量拼接模块把四个特征图子集拼接为尺寸为h
×w×
c特征图。
49.在自注意计算模块800中，输入的尺寸为h
×w×
c的特征图，在归一化处理后，经过第一重构模块的重构操作（reshape操作）变为尺寸为hw
×
c的特征图，把该尺寸为hw
×
c的
特征图同时输入第一线性层、第二线性层、第三线性层进行处理分别得到三组特征，分别记为q(query，查询)、k(key，键)、v(value，值)，分别利用第一l2范数模块和第二l2范数模块对q和k进行稳定训练后输入第一交叉协方差注意力计算模块801进行交叉协方差注意力计算，计算是在通道维度上进行的，只对q进行转置操作，计算结果与激活函数层的softmax激化函数（即该激活函数层为softmax层）结合即得到注意力分矩阵，该注意力分矩阵进一步与v在第二交叉协方差注意力计算模块802中进行交叉协方差注意力计算，计算结果为尺寸为hw
×
c的注意力图，该注意力图通过第二重构模块的重构操作变为尺寸为h
×w×
c的注意力图，尺寸为h
×w×
c的注意力图与输入的尺寸为h
×w×
c的特征图在第二加法器803处融合后，由第三归一化层进行归一化处理，最后在第二逐点卷积层中进行两次1
×
1点卷积和高斯误差线性单元（gelu）激活以生成非线性特征。
50.该cnn-transformer融合模型由于引入了卷积编码器和分割深度转置注意力编码器，在卷积编码器中，自适应的卷积核与分割深度转置注意力编码器的多尺度感受野特性相呼应，在分割深度转置注意力编码器中，特征编码模块700通过层次级联实现多尺度感受野的融合，并在自注意计算模块800中，在通道维度上应用逐点卷积运算，可得到兼顾计算复杂度与全局注意力的输出。
51.优选地，该cnn-transformer融合模型通过以下过程训练得到：b1.采集射频电源电路板的多个图片（具体数量可根据实际需要设置）；b2.用识别框对各图片的表面缺陷区域进行标注，并用标签标注表面缺陷区域的缺陷类别，得到样本集；b3.按7:2:1的比例把样本集划分为训练集、验证集和测试集；b4.用训练集对cnn-transformer融合模型进行多次迭代训练并用验证集验证训练后的cnn-transformer融合模型，以得到多个备选模型；b5.使用测试集对各备选模型进行测试，并根据评价指标选择最优的备选模型作为最终的cnn-transformer融合模型。
52.步骤b2中，可利用labelimg标注软件进行标注，但不限于此。
53.其中，步骤b4中，迭代训练的次数可根据实际需要设置，可以把每次迭代训练后得到的模型均作为备选模型，或者每迭代训练n次（n为大于1的预设正整数，可根据实际需要设置，例如为10，但不限于此）就把得到的模型作为备选模型。记录每个备选模型的网络参数。其中，每次迭代训练迭代至损失函数（损失函数可以但不限于此是交叉熵损失函数）收敛或迭代次数达到次数阈值（次数阈值可根据实际需要设置，例如为200，但不限于此），则停止当次迭代训练。
54.其中，评价指标可以选用现有技术中的任意评价指标。
55.在一些优选实施方式中，评价指标包括f1-score指标、recall指标和precision指标；步骤b5包括：使用测试集对各备选模型进行测试，以获取各备选模型的f1-score指标值、recall指标值和precision指标值；计算f1-score指标值、recall指标值和precision指标值的和或者加权和，得到综合指标值；
选择综合指标值最大的备选模型作为最终的cnn-transformer融合模型（具体地，在选出综合指标值最大的备选模型后，把其对应的网络参数赋值给cnn-transformer融合模型）。
56.通过综合上述三个指标来判断备选模型的优劣，更有利于得到实际识别效果最优的cnn-transformer融合模型。
57.其中， cnn-transformer融合模型输出的缺陷识别结果包括识别结果图像和识别结果数据，识别结果图像为用识别框标记各表面缺陷区域的电路板图像，且识别结果图像上具有用于表示各表面缺陷区域的缺陷类别（例如缺件、立碑等）的标签，识别结果数据包括各识别框的位置数据和尺寸数据，还包括各识别框对应的标签信息（为用于表示缺陷区域的缺陷类别的信息，可以是名称信息、编号信息等）。
58.图7为使用该电路板表面缺陷检测装置对一个射频电源电路板进行表面缺陷检测的识别结果图，准确地识别出了零件缺少的缺陷。
59.由上可知，该电路板表面缺陷检测装置，获取待检测的电路板图像；把电路板图像输入预先训练好的cnn-transformer融合模型，得到cnn-transformer融合模型输出的缺陷识别结果；由于cnn-transformer融合模型兼顾了模型性能和推理速度，且不增加额外的时间复杂度和空间复杂度，从而识别结果准确率较高且检测效率较高。
60.请参照图3，图3为本技术实施例提供的一种电子设备的结构示意图，本技术提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的电路板表面缺陷检测方法，以实现以下功能：获取待检测的电路板图像；把电路板图像输入预先训练好的cnn-transformer融合模型，得到cnn-transformer融合模型输出的缺陷识别结果。
61.本技术实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的电路板表面缺陷检测方法，以实现以下功能：获取待检测的电路板图像；把电路板图像输入预先训练好的cnn-transformer融合模型，得到cnn-transformer融合模型输出的缺陷识别结果。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read-only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red-only memory, 简称prom），只读存储器（read-only memory, 简称rom），磁存储器，快闪存储器，磁盘或光盘。
62.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
63.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
64.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
65.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
66.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。